OpenAI 發展歷史｜從 GPT-1 到 ChatGPT-4 的演變

2015 年｜創立 Open AI

OpenAI於2015年在舊金山成立，是由Elon Musk、Sam Altman、Greg Brockman、Wojciech Zaremba、IlyaSutskever和John Schulman共同發起的計劃，2015-12 在 OpenAI Blog 發布了公司介紹

• OpenAI 是非營利組織，不以商業利益為目的
• 公司成立的目標是以對人類有利的方式推進 AI 的發展，同時避免人類不當使用 AI 造成的危害
• 鼓勵研究人員發表他們的工作成果，包含論文、文章與代碼

GPT-1 開啟大語言模型的時代

GPT-1 於 2018 年 6 月推出，有 1.17 億個參數，GPT-1 是基於 transformer ℹ️ 與非監督式學習 ℹ️ 的模型。GPT-1的訓練分為兩個階段，首先，以大規模的文字數據進行非監督預訓練，這個階段，模型學習了語言的基本結構和知識，透過預測下一個單字來訓練模型，以此來產生文本。接著，對預訓練模型進行微調（fine-tuning），調整成更好地執行特定任務 e.g. 內容生成、文章總結。GPT-1 展示了非監督學習在訓練語言模型的潛力。

ℹ️ transformer 模型：它的獨特之處在於使用自注意力機制（Self-Attention Mechanism），能夠在處理數據時考慮序列內所有元素間的關聯性，常用於處理序列資料。

ℹ️ 非監督式學習(Unsupervised Learning)：非監督式學習是機器學習中的一種訓練方法，從未經標籤的數據中學習數據之間的模式和結構，常用於分群、異常檢測等等。反之，監督式學習則是使用帶有標籤的數據進行訓練。

OpenAI - Improving language understanding with unsupervised learning

GPT-2 提升模型通用性，多任務學習

GPT-2 於 2019 年 2 月發布，模型有 15 億個參數，參數量與訓練數據量都是 GPT-1 的 10 倍以上。此外，GPT-2 訓練過程去掉了GPT-1的監督微調（fine-tuning），由於訓練量的上升，模型以多任務學習（Multi-task Learning, MTL）ℹ️ 在單一的預訓練過程中學習執行多種不同的語言處理任務，而無需針對每個 任務進行專門的模型訓練，不需要監督微調也能在多種任務上有顯著的提升，提升了模型的通用性。GPT-2 在語言理解與文本生成的任務中都展現巨大的進步，生成了連貫的多段落文本

GPT-2 最初並未向公眾發佈，主要是考量到潛在的濫用風險，如生成假新聞。OpenAI 分階段推出小版本的 GPT-2 模型供社群研究這項技術，直到 2019 年底才公開完整的版本。

ℹ️ 多任務學習（Multi-task Learning, MTL）：將多個相關的任務讓模型一起學習，共享所學到的信息，模型具有更好的泛化能力。

Language Models are Unsupervised Multitask Learners

Better language models and their implications

GPT-3 海量數據與參數的超級模型

2020 年 6 月公佈了 GPT-3，模型的規模有巨大的提升，該模型有 1750 億個參數（GPT-1 只有 1.17 億個參數），GPT-3 展現了更強大的 zero-shot learning ℹ️ 的能力，無需針對特定任務預先訓練，也能出色的執行寫作、翻譯、問答和其他多種文本任務，並且透過 API 形式提供服務，促進了大量創新應用的發展。

ℹ️ 零樣本學習 (zero-shot learning)：模型能夠識別與理解在訓練階段從未見過的類別，零樣本學習依賴模型將知識從見過的類別轉移到未見過的類別，而零樣本學習的挑戰在於如何使模型能夠概括和推理出新的概念。

Language models are few-shot learners

2022 年，ChatGPT 問世

2022 年 11 月，OpenAI 發布了 ChatGPT，基於 GPT-3.5 模型的聊天機器人，GPT-3.5 訓練中加入了人類互動的反饋機制 (Reinforcement learning from human feedback, RLHF)，提高模型的效能和使用者體驗，讓 ChatGPT 成為一種 instructGPT，針對人們的問題與指示作出適當的回覆

雖然在 2020 年就已經發布了 GPT-3 的模型，但是直到 2022 年底 ChatGPT 的出現，OpenAI 在短時間內爆紅，ChatGPT 推出不到 2 個月的時間，用戶數已超過 1 億人。大型語言模型、生成式AI 等等的技術也受到了大家的關注。ChatGPT 生產能力與效率都極高，不論是寫程式、寫腳本，寫文章樣樣都行，也引發了人類被 AI 取代或如何與 AI 共存的討論。

GPT-4 大型多模態模型，打破語言模型的限制，

目前 GPT-4 是最新版本，最大的不同在於它支援多種資料格式如圖片、文字、Excel 和 PDF，從「大型語言模型」進化成「大型多模態模型」ℹ️，模型不在侷限於文本類的任務，還能用來製作圖片與畫數據圖表，有更多元的使用場景。

GPT-4 對於非英語的支援度也有顯著的提升，GPT-4 在學術方面也展示了強大知識，為了了解 GPT-3 和 GPT-4 的專業能力差異，測驗模型各種人類的考試如SAT, Leetcode，圖表中可以看到，與 GPT-3 相比，GPT-4 的考試結果有很大的進步

ChatGPT-4在安全性、倫理和可解釋性方面的持續優化，體現了對負責任AI使用的承諾，Open AI 確保技術發展同時兼顧社會價值和倫理標準。

ℹ️ 大型多模態模型 (large multimodal model)：能夠處理和理解多種類型數據（如文字、圖像、音檔等等），能夠在多種型態之間進行信息的整合和交互，達到更加全面和準確的數據理解。

自 OpenAI 成立以來，在人工智慧領域的發展歷程從 GPT-1 到 GPT-4 的演變，每一代GPT的推出，都是OpenAI對模型架構最佳化、資料處理能力提升、演算法效率增強的見證，也是一次次對人工智慧深入的探索。