我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在 AI說書 - 從0開始 - 94 介紹了 Stanford Sentiment TreeBank (SST-2)，其為電影評論，可以對 0（負面）到 n（正面）範圍內的情緒進行分類。
今天來介紹 Microsoft Research Paraphrase Corpus (MRPC)，其是一項 GLUE 任務，從網路來源中提取句子對，根據兩個密切相關的屬性對每一對進行註釋，以指示句子是否等效。
如果想要感覺 MRPC 的能力，可以使用下列程式載入模型：
from transformers import AutoTokenizer, TFAutoModelForSequenceClassification
import tensorflow as tf
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased-finetuned-mrpc")
model = TFAutoModelForSequenceClassification.from_pretrained("bert-base-cased-finetuned-mrpc")
classes = ["not paraphrase", "is paraphrase"]
接著使用以下資料進行測試：
sequence_A = "The DVD-CCA then appealed to the state Supreme Court."
sequence_B = "The DVD CCA appealed that decision to the U.S. Supreme Court."
paraphrase = tokenizer.encode_plus(sequence_A, sequence_B, return_tensors = "tf")
paraphrase_classification_logits = model(paraphrase)[0]
paraphrase_results = tf.nn.softmax(paraphrase_classification_logits, axis = 1).numpy()[0]
print(sequence_B, "should be a paraphrase")
for i in range(len(classes)):
print(f"{classes[i]}: {round(paraphrase_results[i] * 100)}%")
至於衡量的基準則選擇 F1 Score，詳見 AI說書 - 從0開始 - 82
測試結果如下：
圖片出自書籍：Transformers for Natural Language Processing and Computer Vision, 2024
