我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
- AI說書 - 從0開始 - 180 | RoBERTa 預訓練前言:RoBERTa 預訓練前言
- AI說書 - 從0開始 - 181 | 預訓練模型資料下載與相關依賴準備:預訓練模型資料下載與相關依賴準備
- AI說書 - 從0開始 - 182 | 資料清洗:資料清洗
- AI說書 - 從0開始 - 183 | 初始化模型與 Tokenizer:初始化模型與 Tokenizer
- AI說書 - 從0開始 - 184 | 訓練 & 驗證資料集切割:訓練 & 驗證資料集切割
- AI說書 - 從0開始 - 185 | 初始化 Trainer:撰寫 Training Argument 並初始化 Trainer
- AI說書 - 從0開始 - 186 | 訓練並儲存模型:訓練並儲存模型
- AI說書 - 從0開始 - 187 | 製作 Inference 函數:製作 Inference 函數
- AI說書 - 從0開始 - 188 | 製作聊天介面:製作聊天介面
至此完成模型訓練的所有過程,這不是終點而是起點,提供幾個可以嘗試的事項:
- 調整參數讓訓練成果更佳
- 從 Hugging Face 上挑選其他模型進行訓練
- 製作屬於自己專案的資料集