我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。整理目前手上有的素材:準備資料集:AI說書 - 從0開始 - 162 | 準備Pretrain模型需要的資料準備必備函數庫:AI說書 - 從0開始 - 163 | 準備Pretrain模型需要的函數庫Tokenizer 前言:AI說書 - 從0開始 - 164 | Tokenizer 前言訓練自己的 Tokenizer:AI說書 - 從0開始 - 165 | 訓練自己的Tokenizer保存訓練好的 Tokenizer:AI說書 - 從0開始 - 166 | 保存訓練好的 TokenizerTokenizer 使用方式:AI說書 - 從0開始 - 167 | Tokenizer 使用方式GPU 及 CUDA 確認:AI說書 - 從0開始 - 168 | GPU 資源確認編輯模型的 Config 檔:AI說書 - 從0開始 - 169 | 編輯模型的 Config 檔初始化模型:AI說書 - 從0開始 - 170 | 初始化模型模型參數探索:AI說書 - 從0開始 - 171 | 模型參數探索模型參數探索:AI說書 - 從0開始 - 172 | 模型參數探索模型參數探索:AI說書 - 從0開始 - 173 | 模型參數探索模型參數探索:AI說書 - 從0開始 - 174 | 模型參數探索Data Collator 建立:AI說書 - 從0開始 - 175 | Data Collator 建立初始化 Trainer:AI說書 - 從0開始 - 176 | 初始化 Trainer模型訓練:AI說書 - 從0開始 - 177 | 訓練模型既然模型訓練好了,自然需要執行保存的動作: