古代日本人称书法叫“入木道”或“笔道”，直到江户时代（十七世纪），才出现“书道”这个名词。

    在日本，用毛笔写汉字而盛行书法，应当是在佛教传入之后。僧侣和佛教徒模仿中国，用毛笔抄录经书，中国的书法也随之在日本展开。圣德太子抄录的“法华经义疏”，就是受中国六朝时代书法风格影响的代表作。日本天台宗始祖最澄和尚从中国返国时，带回了东晋王羲之的书法作品，并将之推广。

    唐太宗曾下令收藏王羲之的作品，一时间使王羲之作品身价百倍，遣唐僧和遣唐使回国时带回了大批王羲之的手迹。现今的“东大寺献物帐”内收藏的二十卷书法集中，大部分是王羲之的真迹。唐张怀瓘《书断.王羲之》，晋王羲之书祝版，工人削之，笔入木三分。孙过庭的《书谱》也有入木之术。古代日本人尊王羲之为书圣，故将书法称作“入木道”。日本人喜爱王羲之书法风格现于言表，他们亲热地称王羲之为大王，称其第七子王献之叫小王。承继了二王骨风的，是平安朝的真言宗创始人空海和尚。他与嵯峨天皇、橘逸势三人被称为“平安三笔”，空海的《聋瞽指归》二卷更被指定为国宝。

    平安中期，日本废除了遣唐使，随着假名（日本文字）的出现，书法也开始和化（日本化），书法界又出现了小野道风、藤原佐理和藤原行成，世人称之为“三迹”，“三迹”的书法成了后世书法的规范，并由此产生了多种书法流派。

    和化书风创始人藤原行成创立了“世尊寺流”，历经七世，由于墨守陈规，而失去吸引力，留于形式，书法也从以贵族为中心而转向武士阶层。书法不仅要求雄浑有力，也要求速度要快。于是出现了以藤原忠通为代表的“法性寺流”，其势压倒了“世尊寺流”。其后，后京极良经承继忠通的风格，创立了“后京极流”。到了镰仓时代又出现了寂莲、藤原俊成、藤原定家等书法大家。

    日本把“世尊寺流”、“法性寺流”等总称为“上代风格”，而将武士社会盛行的书法风格称之为“武家风格”，其代表者是源赖朝、源义经、北条时政等将军。

    镰仓时代，在与宋朝做生意时引进了宋代的书法。如临济宗大师荣西禅师就师承了黄山谷的风格，曹洞宗的道元禅师将张即之的书法介绍回日本。以京都五山、镰仓五山的禅僧为中心的书法流派更是崇拜张即之和苏东坡的宋代风格。其后，一山一宁等僧又将元代风格带进了日本，为日本书法界增添了宗峰妙造大师、梦窗疏石等高僧的墨宝，世人称之谓“禅宗风格”。“禅宗风格”长期流行于日本南北朝和室时时代的武士、官吏之间。

    桃山时代，丰臣秀吉一统天下，使乱世造成的文化停滞情况得以恢覆，书法界出现了三名奇才近卫信尹、木阿弥光悦、松花堂昭乘，世人称为“宽永三笔”。

    江户时代幕府奖励儒学，“唐风”再度盛行。江户末期出现了如市河未庵等职业教授书法的专家，“书道”就产生在这一时期，并成了日本固有艺道的代表。