AI說書 - 從0開始 - 82

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。

Pretrained Model 針對關鍵任務進行訓練，以獲得語言的一般知識，而 Fine-Tuned Model 則是針對下游特定任務進行訓練。

既然提到訓練，就表示要有一套衡量基準供大家遵守，有鑑於此，以下介紹幾類衡量方式：

• Accuracy Score：

• y 是真實標籤，而 y_hat 是預測結果
• 當兩者一致時產生結果 1 ，否則為 0

• F1 Score：

首先介紹 True (T) Positive (P)、False (F) Positive (P) 以及 False (F) Negative (N)，有了這些之後先定義 Precision 為 T_P / (T_P + F_P) ，再定義 Recall 為 T_P / (T_P + F_N) ，有了這些之後，定義 F1 Score 為 2 * (Precision * Recall) / (Precision + Recall) ，說穿了就是 Precision 和 Recall 兩數的調和平均數 (Harmonic Mean)，詳見

https://zh.wikipedia.org/zh-tw/%E8%B0%83%E5%92%8C%E5%B9%B3%E5%9D%87%E6%95%B0