我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
古騰堡計畫 (https://www.gutenberg.org) 提供各種可以文字格式下載的免費電子書,如果讀者想基於書籍建立自己的自訂資料集,可以使用其他書籍。
我將伊曼紐爾·康德的以下三本書編譯成一個名為 kant.txt 的文本檔:
- 對純粹理性的批判
- 對實踐理性的批判
- 道德形上學的基本原理
kant.txt 裡面長成這樣:

接著我們使用指令將資料集下載下來:
!curl -L https://raw.githubusercontent.com/Denis2054/Transformers-for-NLP-and-Computer-Vision-3rd-Edition/master/Chapter06/kant.txt --output "kant.txt"
會得到以下檔案出現於目錄中:
