AI說書 - 從0開始 - 186 | 訓練並儲存模型

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

整理目前手上有的素材：

• AI說書 - 從0開始 - 180 | RoBERTa 預訓練前言：RoBERTa 預訓練前言
• AI說書 - 從0開始 - 181 | 預訓練模型資料下載與相關依賴準備：預訓練模型資料下載與相關依賴準備
• AI說書 - 從0開始 - 182 | 資料清洗：資料清洗
• AI說書 - 從0開始 - 183 | 初始化模型與 Tokenizer：初始化模型與 Tokenizer
• AI說書 - 從0開始 - 184 | 訓練 & 驗證資料集切割：訓練 & 驗證資料集切割
• AI說書 - 從0開始 - 185 | 初始化 Trainer：撰寫 Training Argument 並初始化 Trainer

萬事俱備，可以展開訓練程序了：

trainer.train()

結果為：

還需要執行模型保存的動作，第一行程式會將模型保存在 Cloab 中，但是如果 Colab 關掉則檔案會消失，因此第二行程式是將檔案保存在 Google Drive 中：

trainer.save_model("/content/model/model/")
trainer.save_model("drive/MyDrive/files/model_C6/model/")

關於保存模型後出現的檔案，其說明見 AI說書 - 從0開始 - 178 | 保存訓練好的模型