OpenAI 發展歷史|從 GPT-1 到 ChatGPT-4 的演變

閱讀時間約 6 分鐘


raw-image


2015 年|創立 Open AI

OpenAI於2015年在舊金山成立,是由Elon Musk、Sam Altman、Greg Brockman、Wojciech Zaremba、IlyaSutskever和John Schulman共同發起的計劃,2015-12 在 OpenAI Blog 發布了公司介紹

  • OpenAI 是非營利組織,不以商業利益為目的
  • 公司成立的目標是以對人類有利的方式推進 AI 的發展,同時避免人類不當使用 AI 造成的危害
  • 鼓勵研究人員發表他們的工作成果,包含論文、文章與代碼


GPT-1 開啟大語言模型的時代

GPT-1 於 2018 年 6 月推出,有 1.17 億個參數,GPT-1 是基於 transformer ℹ️ 與非監督式學習 ℹ️ 的模型。GPT-1的訓練分為兩個階段,首先,以大規模的文字數據進行非監督預訓練,這個階段,模型學習了語言的基本結構和知識,透過預測下一個單字來訓練模型,以此來產生文本。接著,對預訓練模型進行微調(fine-tuning),調整成更好地執行特定任務 e.g. 內容生成、文章總結。GPT-1 展示了非監督學習在訓練語言模型的潛力。

ℹ️ transformer 模型:它的獨特之處在於使用自注意力機制(Self-Attention Mechanism),能夠在處理數據時考慮序列內所有元素間的關聯性,常用於處理序列資料。

ℹ️ 非監督式學習(Unsupervised Learning):非監督式學習是機器學習中的一種訓練方法,從未經標籤的數據中學習數據之間的模式和結構,常用於分群、異常檢測等等。反之,監督式學習則是使用帶有標籤的數據進行訓練。

OpenAI - Improving language understanding with unsupervised learning


GPT-2 提升模型通用性,多任務學習

GPT-2 於 2019 年 2 月發布,模型有 15 億個參數,參數量與訓練數據量都是 GPT-1 的 10 倍以上。此外,GPT-2 訓練過程去掉了GPT-1的監督微調(fine-tuning),由於訓練量的上升,模型以多任務學習(Multi-task Learning, MTL)ℹ️ 在單一的預訓練過程中學習執行多種不同的語言處理任務,而無需針對每個 任務進行專門的模型訓練,不需要監督微調也能在多種任務上有顯著的提升,提升了模型的通用性。GPT-2 在語言理解與文本生成的任務中都展現巨大的進步,生成了連貫的多段落文本


GPT-2 最初並未向公眾發佈,主要是考量到潛在的濫用風險,如生成假新聞。OpenAI 分階段推出小版本的 GPT-2 模型供社群研究這項技術,直到 2019 年底才公開完整的版本。


ℹ️ 多任務學習(Multi-task Learning, MTL):將多個相關的任務讓模型一起學習,共享所學到的信息,模型具有更好的泛化能力。


Language Models are Unsupervised Multitask Learners

Better language models and their implications


GPT-3 海量數據與參數的超級模型

2020 年 6 月公佈了 GPT-3,模型的規模有巨大的提升,該模型有 1750 億個參數(GPT-1 只有 1.17 億個參數),GPT-3 展現了更強大的 zero-shot learning ℹ️ 的能力,無需針對特定任務預先訓練,也能出色的執行寫作、翻譯、問答和其他多種文本任務,並且透過 API 形式提供服務,促進了大量創新應用的發展。

ℹ️ 零樣本學習 (zero-shot learning):模型能夠識別與理解在訓練階段從未見過的類別,零樣本學習依賴模型將知識從見過的類別轉移到未見過的類別,而零樣本學習的挑戰在於如何使模型能夠概括和推理出新的概念。

Language models are few-shot learners


2022 年,ChatGPT 問世

2022 年 11 月,OpenAI 發布了 ChatGPT,基於 GPT-3.5 模型的聊天機器人,GPT-3.5 訓練中加入了人類互動的反饋機制 (Reinforcement learning from human feedback, RLHF),提高模型的效能和使用者體驗,讓 ChatGPT 成為一種 instructGPT,針對人們的問題與指示作出適當的回覆


雖然在 2020 年就已經發布了 GPT-3 的模型,但是直到 2022 年底 ChatGPT 的出現,OpenAI 在短時間內爆紅,ChatGPT 推出不到 2 個月的時間,用戶數已超過 1 億人。大型語言模型、生成式AI 等等的技術也受到了大家的關注。ChatGPT 生產能力與效率都極高,不論是寫程式、寫腳本,寫文章樣樣都行,也引發了人類被 AI 取代或如何與 AI 共存的討論。


GPT-4 大型多模態模型,打破語言模型的限制,

目前 GPT-4 是最新版本,最大的不同在於它支援多種資料格式如圖片、文字、Excel 和 PDF,從「大型語言模型」進化成「大型多模態模型」ℹ️,模型不在侷限於文本類的任務,還能用來製作圖片與畫數據圖表,有更多元的使用場景。


GPT-4 對於非英語的支援度也有顯著的提升,GPT-4 在學術方面也展示了強大知識,為了了解 GPT-3 和 GPT-4 的專業能力差異,測驗模型各種人類的考試如SAT, Leetcode,圖表中可以看到,與 GPT-3 相比,GPT-4 的考試結果有很大的進步



ChatGPT-4在安全性、倫理和可解釋性方面的持續優化,體現了對負責任AI使用的承諾,Open AI 確保技術發展同時兼顧社會價值和倫理標準。


ℹ️ 大型多模態模型 (large multimodal model):能夠處理和理解多種類型數據(如文字、圖像、音檔等等),能夠在多種型態之間進行信息的整合和交互,達到更加全面和準確的數據理解。


自 OpenAI 成立以來,在人工智慧領域的發展歷程從 GPT-1 到 GPT-4 的演變,每一代GPT的推出,都是OpenAI對模型架構最佳化、資料處理能力提升、演算法效率增強的見證,也是一次次對人工智慧深入的探索。



3會員
17內容數
AI x Data Science 探討 AI 大小事
留言0
查看全部
發表第一個留言支持創作者!
你可能也想看
川普當選,對台股是利多還是利空?川普在槍擊事件中所表現出來的英勇形象,讓他贏得美國總統大選幾乎已成定局。沒想到他隨口的一句話「台灣搶走美國的晶片生意,所以要付保護費」,就讓台積電在短短三天跌掉超過100 元,台股也跌掉1100點以上。台積電、台股會就此一路下跌嗎?未來該如何因應?  
Thumbnail
2024-07-20
62
金融科技與生活美學的融合 CUBE App實踐自我理想最近開啟了研究工作,也開始斜槓著手團購、行銷、洽談業務,慢慢想打造一條屬於自己的道路,而工作忙碌之虞,總忘記自己刷卡消費明細、信用卡繳費,還會忽略了最應該的投資理財,也常常在忙碌奔波中忘記信用卡優惠,國泰世華CUBE App給足了這些功能和服務。 日常生活與數位、科技形影不離,同時也拉近彼此距
Thumbnail
2024-07-11
18
OpenAI 正在開发兩種類型的 AI 助手,這些軟體將協助完成原本由人類執行的任務,而無須人類密切監督。其中一種類型的OpenAI 正在開发兩種類型的 AI 助手,這些軟體將協助完成原本由人類執行的任務,而無須人類密切監督。其中一種類型的 AI 代理人可以透過接管使用者的設備來自動化某些複雜任務,例如 ChatGPT 助理將數據從文檔轉移到電子表格或填寫費用報告並將它們輸入到會計軟體中。此類 AI 助理將需要使用者
Thumbnail
2024-02-20
2
💟從OpenAI全新發表的「AI生成影片」技術(Sora),反思「AI生成美女圖」可能造成之衝擊幾天前OpenAI公司發表了全新的「AI生成影片」技術:透過一段簡短的「文字」敘述,讓AI生成一分鐘、1080P畫質的精美逼真影片。 礙於能力時間有限,我只能從使用ChatGPT、Bing這一年來獲得的大量經驗,閱讀研究大量AI相關資料整理的結論,分享AI生成圖片影片對「親密關係」可能帶來的衝擊。
Thumbnail
2024-02-17
5
現代傳奇---從理想主義的OpenAI奧特曼開除事件,省思AI未來發展的方向。希望人工智慧,最後能像奧特曼所期待的,為人類帶來更美好的未來,而不是災難。
Thumbnail
2023-11-23
21
"超過700名OpenAI員工聯名發表公開信,追隨Sam Altman的腳步,共同面對AI的未來挑戰"根據我找到的資訊,OpenAI的首席執行長Sam Altman和其他350位AI權威簽署了一封公開信,表示他們對當前正在開發的AI技術可能對人類構成生存威脅的擔憂。這封公開信的主要訴求是,降低人工智慧滅絕的風險,應該與其它社會規模的風險(如大流行病和核武戰爭)一樣,成為全球的優先事項。 然而,我沒
2023-11-21
0
OpenAI發表會怎麼用英文介紹科技產品功能ChatGPT背後的公司組織OpenAI發表他們最新的上線的ChatGPT功能 我在國外一個滿有名的科技評論部落格Stratechery看到他們整理了在發表會聽到新發布的ChatGPT功能 邊讀我就忍不住研究了一下他們怎麼「用英文描述產品新功能」 結果我不小心歸納出一些共通的表達規則,覺得很有趣~
Thumbnail
2023-11-10
7
OpenAI 開發者大會:GPT-4 Turbo 強勢登場,聊天機器人進化無限!OpenAI 開發者大會上,GPT-4 Turbo 重磅登場!帶來了六大升級,包括上下文長度提升、擴大使用者控制權、知識升級、多模式功能、客製化模型,以及速率限制的提高。此外,GPT-4 Turbo 定價相較於 GPT-4 有了顯著的降低,進一步開放AI的可能性。
Thumbnail
發佈在
0t2 的沙龍
2023-11-08
4
OpenAI DeveDay 震撼發布 GPT-4 Turbo 顛覆未來教育 ?! 測測你自己的 AIQOpenAI 周一(11/6)發佈了 GPT-4 Turbo 重大更新版,不只”能寫“,更已經 “能看圖“ ”能聽話” “能說話” ,所有人都能用人類的自然語言指揮 AI 並且創造自己專屬領域的 GPT --- AI 的未來已來!要瞭解自己的 "AIQ (AI商:AI Quotient)“ 是高是低
Thumbnail
【ChatGPT】實測 OpenAI 發表會全新功能:全新介面、「GPTs」客製化小工具真的有那麼神嗎?聊天機器人 ChatGPT 開發團隊 OpenAI 昨天(2023/11/7)臺灣時間凌晨迎來首次的開發者大會(DevDay),除了發表全新的「GPT-4 Turbo」模型、將許多全新 ChatGPT 功能釋出給開發者外,針對一般使用者付費使用的 ChatGPT 也全面更新。
Thumbnail
發佈在
CT
2023-11-07
6
OpenAI 首屆開發者大會:GPT-4 Turbo 重磅登場,AI 發展再創新高 美國時間 2023 年 11 月 6 日,OpenAI 在美國舊金山舉行了首屆開發者大會。大會上,OpenAI 展示了一系列新產品和服務,其中最引人注目的是 GPT-4 Turbo。 什麼是GPT-4 Turbo GPT-4 Turbo 是 GPT-4 的更強大版本,具有以下改進: 模
Thumbnail
Open AI 發展概況與ChatGPT實際測試報告Open AI 是AI實驗室,並無企業架構與政府背景。成立目的是希望透過不同領域的AI專家與愛好者一同發展可以廣泛使用的AI(強人工智慧,接近人類可以思考、推理、具有意識),而非過往各自研究並開發出只具備單一領域能應用的AI(弱人工智慧,下圍棋、人臉辨識、判讀醫學檢驗結果)。
Thumbnail
2023-03-08
5
川普當選,對台股是利多還是利空?川普在槍擊事件中所表現出來的英勇形象,讓他贏得美國總統大選幾乎已成定局。沒想到他隨口的一句話「台灣搶走美國的晶片生意,所以要付保護費」,就讓台積電在短短三天跌掉超過100 元,台股也跌掉1100點以上。台積電、台股會就此一路下跌嗎?未來該如何因應?  
Thumbnail
2024-07-20
62
金融科技與生活美學的融合 CUBE App實踐自我理想最近開啟了研究工作,也開始斜槓著手團購、行銷、洽談業務,慢慢想打造一條屬於自己的道路,而工作忙碌之虞,總忘記自己刷卡消費明細、信用卡繳費,還會忽略了最應該的投資理財,也常常在忙碌奔波中忘記信用卡優惠,國泰世華CUBE App給足了這些功能和服務。 日常生活與數位、科技形影不離,同時也拉近彼此距
Thumbnail
2024-07-11
18
OpenAI 正在開发兩種類型的 AI 助手,這些軟體將協助完成原本由人類執行的任務,而無須人類密切監督。其中一種類型的OpenAI 正在開发兩種類型的 AI 助手,這些軟體將協助完成原本由人類執行的任務,而無須人類密切監督。其中一種類型的 AI 代理人可以透過接管使用者的設備來自動化某些複雜任務,例如 ChatGPT 助理將數據從文檔轉移到電子表格或填寫費用報告並將它們輸入到會計軟體中。此類 AI 助理將需要使用者
Thumbnail
2024-02-20
2
💟從OpenAI全新發表的「AI生成影片」技術(Sora),反思「AI生成美女圖」可能造成之衝擊幾天前OpenAI公司發表了全新的「AI生成影片」技術:透過一段簡短的「文字」敘述,讓AI生成一分鐘、1080P畫質的精美逼真影片。 礙於能力時間有限,我只能從使用ChatGPT、Bing這一年來獲得的大量經驗,閱讀研究大量AI相關資料整理的結論,分享AI生成圖片影片對「親密關係」可能帶來的衝擊。
Thumbnail
2024-02-17
5
現代傳奇---從理想主義的OpenAI奧特曼開除事件,省思AI未來發展的方向。希望人工智慧,最後能像奧特曼所期待的,為人類帶來更美好的未來,而不是災難。
Thumbnail
2023-11-23
21
"超過700名OpenAI員工聯名發表公開信,追隨Sam Altman的腳步,共同面對AI的未來挑戰"根據我找到的資訊,OpenAI的首席執行長Sam Altman和其他350位AI權威簽署了一封公開信,表示他們對當前正在開發的AI技術可能對人類構成生存威脅的擔憂。這封公開信的主要訴求是,降低人工智慧滅絕的風險,應該與其它社會規模的風險(如大流行病和核武戰爭)一樣,成為全球的優先事項。 然而,我沒
2023-11-21
0
OpenAI發表會怎麼用英文介紹科技產品功能ChatGPT背後的公司組織OpenAI發表他們最新的上線的ChatGPT功能 我在國外一個滿有名的科技評論部落格Stratechery看到他們整理了在發表會聽到新發布的ChatGPT功能 邊讀我就忍不住研究了一下他們怎麼「用英文描述產品新功能」 結果我不小心歸納出一些共通的表達規則,覺得很有趣~
Thumbnail
2023-11-10
7
OpenAI 開發者大會:GPT-4 Turbo 強勢登場,聊天機器人進化無限!OpenAI 開發者大會上,GPT-4 Turbo 重磅登場!帶來了六大升級,包括上下文長度提升、擴大使用者控制權、知識升級、多模式功能、客製化模型,以及速率限制的提高。此外,GPT-4 Turbo 定價相較於 GPT-4 有了顯著的降低,進一步開放AI的可能性。
Thumbnail
發佈在
0t2 的沙龍
2023-11-08
4
OpenAI DeveDay 震撼發布 GPT-4 Turbo 顛覆未來教育 ?! 測測你自己的 AIQOpenAI 周一(11/6)發佈了 GPT-4 Turbo 重大更新版,不只”能寫“,更已經 “能看圖“ ”能聽話” “能說話” ,所有人都能用人類的自然語言指揮 AI 並且創造自己專屬領域的 GPT --- AI 的未來已來!要瞭解自己的 "AIQ (AI商:AI Quotient)“ 是高是低
Thumbnail
【ChatGPT】實測 OpenAI 發表會全新功能:全新介面、「GPTs」客製化小工具真的有那麼神嗎?聊天機器人 ChatGPT 開發團隊 OpenAI 昨天(2023/11/7)臺灣時間凌晨迎來首次的開發者大會(DevDay),除了發表全新的「GPT-4 Turbo」模型、將許多全新 ChatGPT 功能釋出給開發者外,針對一般使用者付費使用的 ChatGPT 也全面更新。
Thumbnail
發佈在
CT
2023-11-07
6
OpenAI 首屆開發者大會:GPT-4 Turbo 重磅登場,AI 發展再創新高 美國時間 2023 年 11 月 6 日,OpenAI 在美國舊金山舉行了首屆開發者大會。大會上,OpenAI 展示了一系列新產品和服務,其中最引人注目的是 GPT-4 Turbo。 什麼是GPT-4 Turbo GPT-4 Turbo 是 GPT-4 的更強大版本,具有以下改進: 模
Thumbnail
Open AI 發展概況與ChatGPT實際測試報告Open AI 是AI實驗室,並無企業架構與政府背景。成立目的是希望透過不同領域的AI專家與愛好者一同發展可以廣泛使用的AI(強人工智慧,接近人類可以思考、推理、具有意識),而非過往各自研究並開發出只具備單一領域能應用的AI(弱人工智慧,下圍棋、人臉辨識、判讀醫學檢驗結果)。
Thumbnail
2023-03-08
5