AI說書 - 從0開始 - 148 | BERT 微調之訓練過程圖繪製

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

回顧一下目前手上有的素材：

• 訓練的必要模組安裝：AI說書 - 從0開始 - 135
• 載入資料集：AI說書 - 從0開始 - 136
• 資料集窺探：AI說書 - 從0開始 - 137
• 資料前處理與 Tokenization：AI說書 - 從0開始 - 138
• 資料 Padding 與訓練/驗證集切割：AI說書 - 從0開始 - 139
• Data Loader 設定：AI說書 - 從0開始 - 140
• BERT 模型窺探：AI說書 - 從0開始 - 141
• 載入 BERT 模型：AI說書 - 從0開始 - 142
• Optimizer 的 Decay Rate 群組配置：AI說書 - 從0開始 - 143
• BERT 模型的特定「層」參數窺探方法：AI說書 - 從0開始 - 144
• Optimizer 的 Decay Rate 群組窺探：AI說書 - 從0開始 - 145
• 配置 Optimizer 與訓練成效評估函數：AI說書 - 從0開始 - 146
• 訓練程式的撰寫：AI說書 - 從0開始 - 147

我們在 AI說書 - 從0開始 - 147 完成了訓練程式的撰寫，現在我們來看輸出長什麼樣子：

可以看到驗證集的準確度隨著訓練次數增加而提升，也可以做更細部的呈現，程式為：

plt.figure(figsize=(15,8)) 
plt.title("Training loss") 
plt.xlabel("Batch") 
plt.ylabel("Loss") 
plt.plot(train_loss_set) 
plt.show()

結果為：