AI說書 - 從0開始 - 201 | OpenAI GPT 理念說明

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

從一開始，OpenAI 的研究團隊就由 Radford 等人領導，2018 年想要將 Transformer 從先前訓練的模型轉換為 GPT 模型，目標是根據未標記的資料訓練 Transformer，讓注意力層從無監督資料中學習語言是明智之舉，OpenAI 不是教導 Transformer 執行特定的自然語言處理任務，而是訓練 Transformer 學習語言。

無監督一詞定義了沒有標籤的訓練，從這個意義上說，GPT 模型經歷了無監督訓練，然而，當它在訓練期間預測 Token 時，會將輸出與實際的完整輸入序列進行比較，以計算損失、尋找梯度並執行反向傳播，從這個意義上說，GPT 是自我監督的，而不是完全無監督的，當您看到與生成模型相關的術語「無監督」時，要記住這一點。

OpenAI 希望創建一個與任務無關的模型，因此，他們開始根據原始資料訓練 Transformer 模型，而不是依賴專家的標記資料，標記資料非常耗時，並且會大大減慢 Transformer 的訓練過程。第一步是從 Transformer 模型的無監督訓練開始，然後他們只會微調模型的監督學習。

第一版 GPT Transformer 模型的令人鼓舞的結果很快就導致 Radford 等人於 2019 提出零樣本轉移模型，他們的核心理念是繼續訓練 GPT 模型以從原始文本中學習，然後，他們進一步研究，重點關注透過無監督分佈範例進行語言建模，目標是一旦經過訓練的 GPT 模型透過強化訓練理解了一種語言，就可以將此概念推廣到任何下游任務。

GPT 模型迅速從 117M 參數發展到 345M 參數，再發展到其他大小，然後發展到 1542M 參數，微調量急劇減少。

這鼓勵 OpenAI 走得更遠，Brown 等人於 2020 年繼續假設條件機率 Transformer 模型可以進行深度訓練，並且能夠產生出色的結果，而無需對下游任務進行微調。