AI說書 - 從0開始 - 151 | BERT 微調之推論 (以 MCC 為衡量指標)

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

回顧一下目前手上有的素材：

• 訓練的必要模組安裝：AI說書 - 從0開始 - 135
• 載入資料集：AI說書 - 從0開始 - 136
• 資料集窺探：AI說書 - 從0開始 - 137
• 資料前處理與 Tokenization：AI說書 - 從0開始 - 138
• 資料 Padding 與訓練/驗證集切割：AI說書 - 從0開始 - 139
• Data Loader 設定：AI說書 - 從0開始 - 140
• BERT 模型窺探：AI說書 - 從0開始 - 141
• 載入 BERT 模型：AI說書 - 從0開始 - 142
• Optimizer 的 Decay Rate 群組配置：AI說書 - 從0開始 - 143
• BERT 模型的特定「層」參數窺探方法：AI說書 - 從0開始 - 144
• Optimizer 的 Decay Rate 群組窺探：AI說書 - 從0開始 - 145
• 配置 Optimizer 與訓練成效評估函數：AI說書 - 從0開始 - 146
• 訓練程式的撰寫：AI說書 - 從0開始 - 147
• 訓練結果圖示化：AI說書 - 從0開始 - 148
• 準備驗證微調效果的另一份資料前處理：AI說書 - 從0開始 - 149
• 微調模型的預測展示：AI說書 - 從0開始 - 150

我們現在已經完成 BERT 模型的微調了，此模型可以預測一個句子的文法是否是正確的，這屬於分類問題，那我們曾在 AI說書 - 從0開始 - 83 中介紹一種 Matthews Correlation Coefficient (MCC) 指標，其輸出範圍介於 - 1 和 1 之間，1 表示正向預測，- 1表示反向預測，0 表示隨機預測，現在我們來看看怎麼使用 MCC 進行衡量：

from sklearn.metrics import matthews_corrcoef
matthews_set = []

for i in range(len(true_labels)):
	matthews = matthews_corrcoef(true_labels[i], predicted_classes[i])
	matthews_set.append(matthews)

也可以用整個資料集來統計 MCC 分數：

true_labels_flattened = [label for batch in true_labels for label in batch]
predicted_classes_flattened = [pred for batch in predicted_classes for pred in batch]
mcc = matthews_corrcoef(true_labels_flattened, predicted_classes_flattened) 
print(f"MCC: {mcc}")

結果為：

效果還不錯！