OpenAI 發展歷史|從 GPT-1 到 ChatGPT-4 的演變

更新於 發佈於 閱讀時間約 6 分鐘


raw-image


2015 年|創立 Open AI

OpenAI於2015年在舊金山成立,是由Elon Musk、Sam Altman、Greg Brockman、Wojciech Zaremba、IlyaSutskever和John Schulman共同發起的計劃,2015-12 在 OpenAI Blog 發布了公司介紹

  • OpenAI 是非營利組織,不以商業利益為目的
  • 公司成立的目標是以對人類有利的方式推進 AI 的發展,同時避免人類不當使用 AI 造成的危害
  • 鼓勵研究人員發表他們的工作成果,包含論文、文章與代碼


GPT-1 開啟大語言模型的時代

GPT-1 於 2018 年 6 月推出,有 1.17 億個參數,GPT-1 是基於 transformer ℹ️ 與非監督式學習 ℹ️ 的模型。GPT-1的訓練分為兩個階段,首先,以大規模的文字數據進行非監督預訓練,這個階段,模型學習了語言的基本結構和知識,透過預測下一個單字來訓練模型,以此來產生文本。接著,對預訓練模型進行微調(fine-tuning),調整成更好地執行特定任務 e.g. 內容生成、文章總結。GPT-1 展示了非監督學習在訓練語言模型的潛力。

ℹ️ transformer 模型:它的獨特之處在於使用自注意力機制(Self-Attention Mechanism),能夠在處理數據時考慮序列內所有元素間的關聯性,常用於處理序列資料。

ℹ️ 非監督式學習(Unsupervised Learning):非監督式學習是機器學習中的一種訓練方法,從未經標籤的數據中學習數據之間的模式和結構,常用於分群、異常檢測等等。反之,監督式學習則是使用帶有標籤的數據進行訓練。

OpenAI - Improving language understanding with unsupervised learning


GPT-2 提升模型通用性,多任務學習

GPT-2 於 2019 年 2 月發布,模型有 15 億個參數,參數量與訓練數據量都是 GPT-1 的 10 倍以上。此外,GPT-2 訓練過程去掉了GPT-1的監督微調(fine-tuning),由於訓練量的上升,模型以多任務學習(Multi-task Learning, MTL)ℹ️ 在單一的預訓練過程中學習執行多種不同的語言處理任務,而無需針對每個 任務進行專門的模型訓練,不需要監督微調也能在多種任務上有顯著的提升,提升了模型的通用性。GPT-2 在語言理解與文本生成的任務中都展現巨大的進步,生成了連貫的多段落文本


GPT-2 最初並未向公眾發佈,主要是考量到潛在的濫用風險,如生成假新聞。OpenAI 分階段推出小版本的 GPT-2 模型供社群研究這項技術,直到 2019 年底才公開完整的版本。


ℹ️ 多任務學習(Multi-task Learning, MTL):將多個相關的任務讓模型一起學習,共享所學到的信息,模型具有更好的泛化能力。


Language Models are Unsupervised Multitask Learners

Better language models and their implications


GPT-3 海量數據與參數的超級模型

2020 年 6 月公佈了 GPT-3,模型的規模有巨大的提升,該模型有 1750 億個參數(GPT-1 只有 1.17 億個參數),GPT-3 展現了更強大的 zero-shot learning ℹ️ 的能力,無需針對特定任務預先訓練,也能出色的執行寫作、翻譯、問答和其他多種文本任務,並且透過 API 形式提供服務,促進了大量創新應用的發展。

ℹ️ 零樣本學習 (zero-shot learning):模型能夠識別與理解在訓練階段從未見過的類別,零樣本學習依賴模型將知識從見過的類別轉移到未見過的類別,而零樣本學習的挑戰在於如何使模型能夠概括和推理出新的概念。

Language models are few-shot learners


2022 年,ChatGPT 問世

2022 年 11 月,OpenAI 發布了 ChatGPT,基於 GPT-3.5 模型的聊天機器人,GPT-3.5 訓練中加入了人類互動的反饋機制 (Reinforcement learning from human feedback, RLHF),提高模型的效能和使用者體驗,讓 ChatGPT 成為一種 instructGPT,針對人們的問題與指示作出適當的回覆


雖然在 2020 年就已經發布了 GPT-3 的模型,但是直到 2022 年底 ChatGPT 的出現,OpenAI 在短時間內爆紅,ChatGPT 推出不到 2 個月的時間,用戶數已超過 1 億人。大型語言模型、生成式AI 等等的技術也受到了大家的關注。ChatGPT 生產能力與效率都極高,不論是寫程式、寫腳本,寫文章樣樣都行,也引發了人類被 AI 取代或如何與 AI 共存的討論。


GPT-4 大型多模態模型,打破語言模型的限制,

目前 GPT-4 是最新版本,最大的不同在於它支援多種資料格式如圖片、文字、Excel 和 PDF,從「大型語言模型」進化成「大型多模態模型」ℹ️,模型不在侷限於文本類的任務,還能用來製作圖片與畫數據圖表,有更多元的使用場景。


GPT-4 對於非英語的支援度也有顯著的提升,GPT-4 在學術方面也展示了強大知識,為了了解 GPT-3 和 GPT-4 的專業能力差異,測驗模型各種人類的考試如SAT, Leetcode,圖表中可以看到,與 GPT-3 相比,GPT-4 的考試結果有很大的進步



ChatGPT-4在安全性、倫理和可解釋性方面的持續優化,體現了對負責任AI使用的承諾,Open AI 確保技術發展同時兼顧社會價值和倫理標準。


ℹ️ 大型多模態模型 (large multimodal model):能夠處理和理解多種類型數據(如文字、圖像、音檔等等),能夠在多種型態之間進行信息的整合和交互,達到更加全面和準確的數據理解。


自 OpenAI 成立以來,在人工智慧領域的發展歷程從 GPT-1 到 GPT-4 的演變,每一代GPT的推出,都是OpenAI對模型架構最佳化、資料處理能力提升、演算法效率增強的見證,也是一次次對人工智慧深入的探索。



留言
avatar-img
留言分享你的想法!
avatar-img
Everything ✨
5會員
17內容數
AI x Data Science 探討 AI 大小事
Everything ✨的其他內容
2024/04/17
1986 年,人工智慧的崛起,神經網路的出現。人工神經網路發展遭遇挑戰,直到 2006 年由Hinton提出限制玻爾茲曼機與深度信念網絡,重新點燃熱情。2018年,Hinton獲得圖靈獎。近年,Hinton持續關注AI帶來的危險,力促人們關注。
Thumbnail
2024/04/17
1986 年,人工智慧的崛起,神經網路的出現。人工神經網路發展遭遇挑戰,直到 2006 年由Hinton提出限制玻爾茲曼機與深度信念網絡,重新點燃熱情。2018年,Hinton獲得圖靈獎。近年,Hinton持續關注AI帶來的危險,力促人們關注。
Thumbnail
2024/03/28
黃仁勳在史丹佛 View From The Top 的演講,他談到了許多關於 NVIDIA 的故事,創立的初衷、遇到的挑戰、公司轉型的契機等等,也分享了面對困難與未知的挑戰,自己是如何堅持做對的事情,帶領公司持續前進。
Thumbnail
2024/03/28
黃仁勳在史丹佛 View From The Top 的演講,他談到了許多關於 NVIDIA 的故事,創立的初衷、遇到的挑戰、公司轉型的契機等等,也分享了面對困難與未知的挑戰,自己是如何堅持做對的事情,帶領公司持續前進。
Thumbnail
2024/03/19
Devin 是世界上首位虛擬 AI 工程師,擁有寫程式、架設網站、除錯、自動化測試等技術。憑藉出色的學習能力,Devin 能夠自動檢查並修正程式碼錯誤,還能自行訓練和微調自身 AI 模型。本文探討了 AI 工程師的能力以及對軟體工程師就業市場的潛在影響。
Thumbnail
2024/03/19
Devin 是世界上首位虛擬 AI 工程師,擁有寫程式、架設網站、除錯、自動化測試等技術。憑藉出色的學習能力,Devin 能夠自動檢查並修正程式碼錯誤,還能自行訓練和微調自身 AI 模型。本文探討了 AI 工程師的能力以及對軟體工程師就業市場的潛在影響。
Thumbnail
看更多
你可能也想看
Thumbnail
大家好,我是一名眼科醫師,也是一位孩子的媽 身為眼科醫師的我,我知道視力發展對孩子來說有多關鍵。 每到開學季時,診間便充斥著許多憂心忡忡的家屬。近年來看診中,兒童提早近視、眼睛疲勞的案例明顯增加,除了3C使用過度,最常被忽略的,就是照明品質。 然而作為一位媽媽,孩子能在安全、舒適的環境
Thumbnail
大家好,我是一名眼科醫師,也是一位孩子的媽 身為眼科醫師的我,我知道視力發展對孩子來說有多關鍵。 每到開學季時,診間便充斥著許多憂心忡忡的家屬。近年來看診中,兒童提早近視、眼睛疲勞的案例明顯增加,除了3C使用過度,最常被忽略的,就是照明品質。 然而作為一位媽媽,孩子能在安全、舒適的環境
Thumbnail
我的「媽」呀! 母親節即將到來,vocus 邀請你寫下屬於你的「媽」故事——不管是紀錄爆笑的日常,或是一直想對她表達的感謝,又或者,是你這輩子最想聽她說出的一句話。 也歡迎你曬出合照,分享照片背後的點點滴滴 ♥️ 透過創作,將這份情感表達出來吧!🥹
Thumbnail
我的「媽」呀! 母親節即將到來,vocus 邀請你寫下屬於你的「媽」故事——不管是紀錄爆笑的日常,或是一直想對她表達的感謝,又或者,是你這輩子最想聽她說出的一句話。 也歡迎你曬出合照,分享照片背後的點點滴滴 ♥️ 透過創作,將這份情感表達出來吧!🥹
Thumbnail
OpenAI 繼上週發表新的人工智慧模型「GPT-4o mini」,由 AI 驅動的搜尋引擎 SearchGPT 原型也隨之發布,該引擎能結合來自網路的即時資訊,讓使用者像與 ChatGPT 交談一樣搜尋。 透過 SearchGPT,用戶能以自然語言提出問題(與使用 ChatGPT 交談方式相同
Thumbnail
OpenAI 繼上週發表新的人工智慧模型「GPT-4o mini」,由 AI 驅動的搜尋引擎 SearchGPT 原型也隨之發布,該引擎能結合來自網路的即時資訊,讓使用者像與 ChatGPT 交談一樣搜尋。 透過 SearchGPT,用戶能以自然語言提出問題(與使用 ChatGPT 交談方式相同
Thumbnail
據美聯社報導,OpenGPT.com 宣佈推出 OpenGPTs。用戶只需要發佈一個OpenGPTs,便能夠整合所有主要的 AI 引擎包括ChatGPT-4o, Google Imagen, Gemini Pro, 以及Claude 3.5等。
Thumbnail
據美聯社報導,OpenGPT.com 宣佈推出 OpenGPTs。用戶只需要發佈一個OpenGPTs,便能夠整合所有主要的 AI 引擎包括ChatGPT-4o, Google Imagen, Gemini Pro, 以及Claude 3.5等。
Thumbnail
OpenAI最近進行了重大更新,ChatGPT-4o將開放給所有用戶,具備更強的理解力和出色的長文、邏輯能力等功能。新版本增加了上傳圖片的選項,更換模型功能,並進行了功能測試。本文將針對用戶的實際體驗進行測評。
Thumbnail
OpenAI最近進行了重大更新,ChatGPT-4o將開放給所有用戶,具備更強的理解力和出色的長文、邏輯能力等功能。新版本增加了上傳圖片的選項,更換模型功能,並進行了功能測試。本文將針對用戶的實際體驗進行測評。
Thumbnail
OpenAI 春季發布會推出了 GPT-4o 模型,免費且響應速度更快,具備文字、音訊、影像的多模態輸入功能。
Thumbnail
OpenAI 春季發布會推出了 GPT-4o 模型,免費且響應速度更快,具備文字、音訊、影像的多模態輸入功能。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
OpenAI在5/13春季發表會上宣佈,將免費向ChatGPT推出最新的GPT-4o模型和更多功能。免費用戶將可享受GPT-4o的智慧和高級工具,並有使用量限制。文章介紹了GPT-4o的功能和未來優化,並提到新的ChatGPT桌面應用程式和外觀改變。
Thumbnail
OpenAI在5/13春季發表會上宣佈,將免費向ChatGPT推出最新的GPT-4o模型和更多功能。免費用戶將可享受GPT-4o的智慧和高級工具,並有使用量限制。文章介紹了GPT-4o的功能和未來優化,並提到新的ChatGPT桌面應用程式和外觀改變。
Thumbnail
ChatGPT新模型GPT-4o即將推出,速度更快,並支援處理影片以及多種語言。免費用戶也可以使用ChatBots,而付費版本則限制頻寬並提高至原本的5倍。此外,還將推出ChatGPT桌面應用程式,讓使用者在電腦上進行各項工作時,更輕鬆地使用ChatGPT。
Thumbnail
ChatGPT新模型GPT-4o即將推出,速度更快,並支援處理影片以及多種語言。免費用戶也可以使用ChatBots,而付費版本則限制頻寬並提高至原本的5倍。此外,還將推出ChatGPT桌面應用程式,讓使用者在電腦上進行各項工作時,更輕鬆地使用ChatGPT。
Thumbnail
在人工智能快速發展的今天,OpenAI 最新宣布的一項改革,無疑為我們提供了更加直接和便捷的方式來接觸和利用這項創新技術:現在您可以立即使用 ChatGPT,而無需進行任何註冊過程。
Thumbnail
在人工智能快速發展的今天,OpenAI 最新宣布的一項改革,無疑為我們提供了更加直接和便捷的方式來接觸和利用這項創新技術:現在您可以立即使用 ChatGPT,而無需進行任何註冊過程。
Thumbnail
OpenAI成立於2015年,旨在以非盈利方式促進AI發展,並避免潛在危害。從GPT-1到GPT-4的發展過程展現了AI無監督學習及多任務學習的潛力。這篇文章回顧了OpenAI在自然語言處理方面的歷程與技術演進,並介紹了各個模型樣本和能力的提升。
Thumbnail
OpenAI成立於2015年,旨在以非盈利方式促進AI發展,並避免潛在危害。從GPT-1到GPT-4的發展過程展現了AI無監督學習及多任務學習的潛力。這篇文章回顧了OpenAI在自然語言處理方面的歷程與技術演進,並介紹了各個模型樣本和能力的提升。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News