AI說書 - 從0開始 - 162 | 準備 Pretrain 模型需要的資料

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

即用型資料集提供了一種客觀的方法來訓練和比較 Transformer，這裡選用啟蒙時代的縮影德國哲學家伊曼紐爾·康德（Immanuel Kant，1724-1804）的著作，這個想法是為下游推理任務引入人類邏輯和預訓練推理。

古騰堡計畫 (https://www.gutenberg.org) 提供各種可以文字格式下載的免費電子書，如果讀者想基於書籍建立自己的自訂資料集，可以使用其他書籍。

我將伊曼紐爾·康德的以下三本書編譯成一個名為 kant.txt 的文本檔：

1. 對純粹理性的批判
2. 對實踐理性的批判
3. 道德形上學的基本原理

kant.txt 裡面長成這樣：

接著我們使用指令將資料集下載下來：

!curl -L https://raw.githubusercontent.com/Denis2054/Transformers-for-NLP-and-Computer-Vision-3rd-Edition/master/Chapter06/kant.txt --output "kant.txt"

會得到以下檔案出現於目錄中：