我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧 AI說書 - 從0開始 - 87 說：Wang 等人 2019 年的論文，提供了合理答案的選擇 (Choice of Plausible Answers, COPA) 任務，Transformer 必須選擇問題的最合理的答案，資料集提供了前提，Transformer 模型必須找到最合理的答案。
在 AI說書 - 從0開始 - 88 介紹了：
- Boolean Question Task (BoolQ)：BoolQ 是 Boolean 是或否回答任務
- Commitment Bank (CB)：要求 Transformer 模型讀取一個前提，然後檢查基於該前提的假設，Transformer 必須將假設標記為中性、蘊含或前提的矛盾等
在 AI說書 - 從0開始 - 89 介紹了：
- Multi-Sentence Reading Comprehension (MultiRC)：要求模型閱讀文本並從多個可能的選項中進行選擇，模型包含一段文字、幾個問題以及帶有 0（假）或 1（真）標籤的每個問題的可能答案
以下繼續介紹 Wang 等人 2019 年的論文所提出的其他任務：
- Reading Comprehension with Commonsense Reasoning Dataset (ReCoRD)：該資料集包含來自 70000 多篇新聞文章的 120000 多個查詢， Transformer 必須使用常識推理來解決這個問題，來看一個 train.jsonl 中的範例：
圖片出自書籍：Transformers for Natural Language Processing and Computer Vision, 2024
Transformer 模型必須透過尋找字符位置的正確值來回答查詢：
圖片出自書籍：Transformers for Natural Language Processing and Computer Vision, 2024