我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Model 針對關鍵任務進行訓練,以獲得語言的一般知識,而 Fine-Tuned Model 則是針對下游特定任務進行訓練。
既然提到訓練,就表示要有一套衡量基準供大家遵守,有鑑於此,以下介紹幾類衡量方式:
首先介紹 True (T) Positive (P)、False (F) Positive (P) 以及 False (F) Negative (N),有了這些之後先定義 Precision 為 TP / (TP + FP) ,再定義 Recall 為 TP / (TP + FN) ,有了這些之後,定義 F1 Score 為 2 * (Precision * Recall) / (Precision + Recall) ,說穿了就是 Precision 和 Recall 兩數的調和平均數 (Harmonic Mean),詳見
https://zh.wikipedia.org/zh-tw/%E8%B0%83%E5%92%8C%E5%B9%B3%E5%9D%87%E6%95%B0