新石器時代與奴隸社會早期階段，一開始社會規模較小，人與人之間的往來交流並不十分密切，即使沒有文字，也沒有給日本人帶來很大的生活不便。但是到了奴隸社會中期以後，隨著生產力的發展，人與人之間的往來溝通就多了起來。很多事情單單只依靠語言，並無法得到有效的解決，這時，人們迫切需要一套文字系統。然而想要創造出一套好用的文字系統，也不是那麼容易的一件事情。日本人想了又想、想了很久。也還是無法創造出令自己滿意的文字。
直到西元３世紀，朝鮮百濟的和尚把中國漢字帶進了日本。見識到中國文字以後，日本人果斷選擇了自我發明文字，直接借用了中國文字來書寫。
剛開始，日本人直接借用中國漢字也不是那麼容易順遂的，由於日本和中國的語言並不統一，很多東西無法直接使用中國漢字來進行書寫。於是，日本人開始嘗試使用漢字來表示日語的發音。其具體作法就像我們剛開始學習英語時，有些人會利用中文來給英語標上好記的相近注音。這就是日本最早的文字－－萬葉假名（日本語：万葉仮名／まんようがな）。
而之所以叫「萬葉假名」，是因為日本人運用所學的中國漢字寫了一本日本最古老的詩歌總集《萬葉集》（日本語：万葉集／まんようしゅう）。這本詩歌總集，在日本的地位很高，就相當於《詩經》在中國的文學地位。
所謂的「假名」，「假」是「假借」的意思；「名」是「字」的意思，也就是「假借（借用）的字」。
用著用著，漢字標音的弊端開始逐漸出現了，即一個發音可能有多個漢字相對應，而一句話可以有多種寫法，從而導致了語言文字的混亂。
後來，隨著日本人對於中國漢字更進一步的深入了解，而知道了很多中國漢字的發音及意思（形音義）。日本人就開始嘗試利用漢字是表意文字的這個特點，來把漢字與自己的語言互相對應起來。這就是日語中漢字「訓讀」發音，比如日本人知道漢語「山峰」的「山」跟日語「やま」這個發音所描述的東西是一樣的，都表示「山」這個物像，因此把「山」讀作「やま」。
日語中的漢字發音還有另外一種方式－－「音讀」，直接借用漢字發音，比如「山」讀作「さん」。
其日語發音唸法與漢語的發音讀法非常像，但彼此有些偏差，一方面是因為日本人模仿發音還不到位，另一方面則因為中國古代漢語發音跟現代中文發音有所差異。此外，還有一個重要原因，就是中國古代也存在地方方言，因為傳入日本的漢字來源地不同，日本人所學到的發音也有所差異。這也就是現代日語中一個漢字可能對應多種發音的緣故。
中國人在使用漢字的過程中不斷簡化（中國古代漢字太難寫了，寫起來十分麻煩不便）及發展，日本人在利用漢字進行書寫的過程中，也慢慢醞釀出自己的風格，而對漢字做出了簡化動作。日本和尚將漢字簡化成漢字楷書的偏旁部首，後來慢慢演變成現今所看到的「片假名」（日本語：片仮名／かたかな／カタカナ ）。
片假名，一開始只供男性使用，後來，日本皇宮負責抄寫工作的宮女也在記錄時對漢字進行了簡化，而發明了具有日系草書風格的「平假名」（日本語：平仮名／ひらがな／ヒラガナ ）。
當時的日本，宮廷女官與和尚的地位都相當高，皆屬於上流階層，他們簡化所寫出來的文字很快就受到人們的追捧及仿效，在日本民間也漸漸流傳普及並且固定了下來。
在日本很多人喜歡寫漢字，因而很多漢字還是被原汁原味地保留了下來，從而形成現代日語中既有平假名、片假名，也有漢字的風景。
另外，日本人還利用中國漢字的「形聲」和「會意」造字法來創造出更具日本獨特風格的漢字，比如峠、辻、畑等字。
後來，隨著西方文化傳到日本，日本人還利用了西方字母形式的羅馬字。但是羅馬字的使用範圍相對較小，多用於招牌和廣告中，在文章中很少被使用，從而也就形成現今所看到的日語中有平假名、片假名、漢字、羅馬字並存的局面。
