是 OpenAI 開發的一系列語言模型的名稱，它和 BERT 一樣，也是基於 Transformer 模型架構。然而，GPT 的主要目標和訓練方式與 BERT 有一些關鍵的不同。GPT 家族以其強大的文本生成能力而聞名。
GPT 的主要特點和創新：
- 基於 Transformer 解碼器 (Decoder-only) 架構： 與 BERT 使用雙向 Transformer 編碼器不同，早期的 GPT 模型（包括 GPT-1、GPT-2 和 GPT-3）主要基於 Transformer 的解碼器部分。這意味著它們的設計更側重於生成文本。後續的模型（例如 ChatGPT 所基於的 GPT-3.5 和 GPT-4）可能在架構上更加複雜，但仍然保留了解碼器為主的特性。
- 單向 (Unidirectional) 或自回歸 (Autoregressive) 生成： GPT 的訓練方式使其非常擅長預測序列中的下一個詞語。它在訓練時只關注輸入序列中當前位置之前的詞語（即「左側上下文」），並學習預測序列中接下來會出現哪個詞語。這種自回歸的特性使得 GPT 非常適合生成連貫且具有上下文的文本。
- 預訓練 (Pre-training) 和零樣本/少樣本/微調 (Zero-shot/Few-shot/Fine-tuning) 學習： GPT 模型也經歷了預訓練階段，通常是在非常龐大的文本語料庫上進行的，目標是學習預測文本序列中的下一個詞語。之後，GPT 可以通過不同的方式應用於下游任務：
- 零樣本學習 (Zero-shot Learning): 在沒有任何針對特定任務的訓練數據的情況下，僅僅通過自然語言的指令來指示模型完成任務。 少樣本學習 (Few-shot Learning): 提供少量的示例（通常是幾個到幾十個），讓模型理解任務並完成類似的任務。 微調 (Fine-tuning): 也可以使用標註數據集對預訓練好的 GPT 模型進行微調，以更好地適應特定的下游任務。
- 以生成為核心目標： 與 BERT 更側重於理解文本不同，GPT 的主要設計目標是生成文本。這使得它在文本生成、語言建模、對話系統等方面表現出色。
- 強大的文本生成能力： GPT 模型能夠生成連貫、流暢、且在一定程度上具有創造性的文本。
- 上下文理解能力： 儘管是單向模型，但通過 Transformer 的注意力機制，GPT 仍然能夠理解上下文信息，並在生成文本時加以利用。
- 零樣本和少樣本學習能力： 後期的 GPT 模型展現了令人驚嘆的零樣本和少樣本學習能力，這意味著它們在面對新的任務時，不需要大量的標註數據也能取得不錯的性能。
GPT 模型的一些應用：
GPT 模型被廣泛應用於各種文本生成相關的任務，包括：
- 文本生成 (Text Generation): 例如，生成文章、故事、詩歌、劇本等。
- 對話系統 (Chatbots and Conversational AI): 例如，ChatGPT 就是基於 GPT 的一個變體。
- 文本摘要 (Text Summarization): 雖然 BERT 也可以做文本摘要，但 GPT 在生成式摘要方面表現突出。
- 程式碼生成 (Code Generation): 例如，GitHub Copilot 就是基於 OpenAI 的 Codex 模型，而 Codex 是 GPT 系列的一個分支，專門針對程式碼進行了訓練。
- 翻譯 (Translation): 儘管最初並非主要目標，但 GPT 模型在翻譯任務上也表現出了不錯的能力。
- 問題回答 (Question Answering): 尤其是生成式的回答。
GPT 與 BERT 的主要區別：
特性BERT (Bidirectional Encoder)GPT (Unidirectional Decoder)主要架構Transformer 編碼器Transformer 解碼器訓練目標掩碼語言模型 (MLM), 下一句預測 (NSP)預測下一個詞語 (自回歸語言建模)信息流向雙向 (同時考慮左右上下文)單向 (僅考慮左側上下文)主要優勢擅長理解文本語義和上下文擅長生成連貫且具有上下文的文本主要應用場景文本分類、命名實體識別、問答 (抽取式)文本生成、對話、摘要 (生成式)
總之，GPT 是一種基於 Transformer 的自回歸語言模型，其主要優勢在於文本生成能力。它通過在大量文本數據上預訓練，學習預測下一個詞語，並能夠在各種下游任務中展現出強大的零樣本、少樣本和微調學習能力。
