AI說書 - 從0開始 - 85

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NLP 和 Transformer 已經帶我們走了多遠！

General Language Understanding Evaluation (GLUE) Human Baselines 並未處於頂尖位置，這表明 Natural Language Understanding (NLU) 模型已經超越 GLUE 任務的非專家，Human Baselines 代表了我們人類可以實現的目標，人工智慧現在已經可以超越人類了，然而，盲目地尋找 Baselines 資料集是具有挑戰性的，而改進我們的模型，卻沒有標準可供參考。

要注意到，Transformer 模型在 2020 年代佔據了領先地位，這種趨勢將會持續下去，儘管我們永遠不知道創意創新者會發現什麼。

GLUE 排行榜將隨著 NLU 的進步而不斷發展，Wang 等人意識到 GLUE 的限制，他們為更困難的 NLU 任務設計了 SuperGLUE，其於 2019 年提出 SuperGLUE 為 Human Baselines 設定了更高的標準。

SuperGLUE的排行榜見：https://super.gluebenchmark.com/leaderboard

摘錄 2023 年 11 月的排名見下圖：

圖片出自書籍：Transformers for Natural Language Processing and Computer Vision, 2024

SuperGLUE 排行榜不斷發展，人工智慧將繼續推動 Human Baselines NLP 任務下降，頂級模型未顯示在上圖中，原因為：排名隨著專門從事 SuperGLUE 任務的模型而不斷變化，即便這些模型是優秀的一級評估，但是仍需要根據您的需求來做選擇。

隨著新的創新模型的出現，人工智慧演算法排名將會不斷變化，然而，這些排名只是顯示了 NLP 霸主之戰的激烈程度，SuperGLUE 的評估過程比不斷變化的排名更重要。