用一張RTX5060ti-16G就可跑開源模型 GPT-OSS 20B

更新 發佈閱讀 5 分鐘

OpenAI 推出開源模型 GPT-OSS 20B:高效能、可本地端運行的 AI 新選擇

人工智慧領域的領導者 OpenAI 於本週稍早(2025 年 8 月 5 日)正式發布其最新的開源大型語言模型系列 GPT-OSS,其中 200 億參數規模的 GPT-OSS 20B 版本,以其高效能、低硬體需求的特性,引起開發者社群的廣泛關注。此舉被視為 OpenAI 在維持其頂尖專有模型的同時,積極擁抱開源生態的重要一步。

raw-image


GPT-OSS 20B 是一款專為本地端和邊緣裝置設計的文本生成模型,旨在提供強大的推理能力,同時降低部署門檻。與其一同發布的還有更大規模的 120B 版本。兩者皆以寬鬆的 Apache 2.0 授權釋出,允許學術研究、商業應用、修改與再發布,為 AI 應用的普及化注入新的動能。

GPT-OSS 20B 的核心特色

高效的混合專家(MoE)架構:

GPT-OSS 20B 總參數雖達 209 億,但採用了混合專家(Mixture-of-Experts, MoE)架構。在實際進行推論運算時,每個 token 僅需啟用約 36 億個活性參數。這種設計大幅降低了運算所需的記憶體和處理能力,使其能夠在消費級硬體上流暢運行。

低硬體需求,親民的本地端部署:

官方指出,運行 GPT-OSS 20B 的最低記憶體需求僅為 16GB RAM。這意味著,開發者和一般使用者都可以在個人的高階筆記型電腦(如搭載 Apple Silicon 的 Mac 或配備新世代 GPU 的 Windows PC)上本地部署和運行此模型,實現離線操作,確保資料的隱私性與安全性。

強大的推理與工具使用能力:

GPT-OSS 20B 不僅是個語言生成模型,更是一個強大的「推理引擎」。它支援「思維鏈(Chain-of-Thought)」推理,能夠模擬人類的思考過程,處理複雜的邏輯問題。此外,它還具備指令遵循、函式呼叫(function calling)、執行 Python 程式碼以及進行網頁查詢等進階功能,使其非常適合應用於開發 AI 代理(AI Agent)等自動化工作流程。

可調節的推理強度:

為了在效能與延遲之間取得平衡,開發者可以根據應用場景的需求,在「低」、「中」、「高」三種推理強度之間進行選擇,彈性調配運算資源。

技術架構亮點

* 模型架構: 採用混合專家(MoE)模型,包含 24 層和 32 個專家,每個 token 路由至 4 個專家進行處理。

* 注意力機制: 使用分組查詢注意力(Grouped Query Attention, GQA)以提升效率。

* 位置編碼: 導入旋轉位置嵌入(Rotary Position Embeddings, RoPE),並支援高達 128k token 的超長上下文視窗。

* 量化技術: 透過 MXFP4 格式對模型權重進行 4-bit 量化,顯著壓縮模型大小,降低記憶體佔用。

性能表現

根據 OpenAI 公布的基準測試數據,GPT-OSS 20B 的整體性能與其自家的專有模型 o3-mini 相當。在多項公開評測中,如 MMLU(大規模多工語言理解)、SWE-Bench(軟體工程)以及 AIME(美國數學邀請賽)等,都展現出與其模型規模相比極具競爭力的表現,尤其在數學和程式編寫能力上相當出色。

如何開始使用 GPT-OSS 20B?

目前,開發者已可透過多種途徑取得並運行 GPT-OSS 20B:

* Ollama: 廣受歡迎的本地大型語言模型運行工具,已第一時間支援 GPT-OSS 20B,使用者可透過簡單指令下載並啟動模型。

* Hugging Face: 作為全球最大的機器學習模型社群,Hugging Face 上已提供完整的模型權重供下載與使用。

* 硬體廠商支援: NVIDIA、AMD、Qualcomm 等晶片大廠也相繼宣布,其最新的 GPU 和 AI 處理器已對 GPT-OSS 20B 提供優化支援,確保在各種裝置上都能發揮最佳效能。

* 雲端平台: 微軟 Azure AI Model Catalog 也已上架 GPT-OSS 模型,供企業用戶部署。

GPT-OSS 20B 的釋出,不僅為 AI 開發者和研究人員提供了一個功能強大且易於取得的工具,也預期將催生更多元、更具創意的 AI 應用。從個人化的智慧助理到特定領域的專業工具,其潛力正等待整個社群共同發掘。

留言
avatar-img
留言分享你的想法!
avatar-img
Hank吳的沙龍
0會員
83內容數
這不僅僅是一個 Blog,更是一個交流與分享的空間。 期待在這裡與你相遇,一起探索科技、體驗生活、夢想旅行!💖
Hank吳的沙龍的其他內容
2025/08/07
Google 的 Gemini 模型近期(8/6號)推出了名為「引導式學習」(Guided Learning)的強大功能,旨在將傳統的單向問答轉變為互動式、個人化的學習體驗。這項功能宛如一位隨身的 AI 家教,能引導使用者深入理解複雜概念,而不僅僅是提供現成答案。
2025/08/07
Google 的 Gemini 模型近期(8/6號)推出了名為「引導式學習」(Guided Learning)的強大功能,旨在將傳統的單向問答轉變為互動式、個人化的學習體驗。這項功能宛如一位隨身的 AI 家教,能引導使用者深入理解複雜概念,而不僅僅是提供現成答案。
2025/08/06
先說結論:臺灣大學並無舉辦玫瑰花節,其知名的校園花季為「杜鵑花節」,所以寫文章或論文,用AI可不要照抄,先確認來源和多參考其他相關資料。 透過ChatGPT得到以下內容: 「台大玫瑰花節」是台灣大學農場一年一度的重要活動之一,通常在每年春季舉行,約莫落在3月至4月之間。這場活動由台大園藝暨景觀學
2025/08/06
先說結論:臺灣大學並無舉辦玫瑰花節,其知名的校園花季為「杜鵑花節」,所以寫文章或論文,用AI可不要照抄,先確認來源和多參考其他相關資料。 透過ChatGPT得到以下內容: 「台大玫瑰花節」是台灣大學農場一年一度的重要活動之一,通常在每年春季舉行,約莫落在3月至4月之間。這場活動由台大園藝暨景觀學
2025/08/06
它觸及了西洋占星術的核心——個體獨特性。 簡單來說,西洋占星術的可能組合數量是天文數字,幾近無限(Virtually Infinite)。這也是為什麼占星師會說,除了極少數巧合(例如在完全相同的時間和地點出生的「時間雙胞胎」),基本上沒有兩個人擁有完全一樣的星盤。
2025/08/06
它觸及了西洋占星術的核心——個體獨特性。 簡單來說,西洋占星術的可能組合數量是天文數字,幾近無限(Virtually Infinite)。這也是為什麼占星師會說,除了極少數巧合(例如在完全相同的時間和地點出生的「時間雙胞胎」),基本上沒有兩個人擁有完全一樣的星盤。
看更多
你可能也想看
Thumbnail
在小小的租屋房間裡,透過蝦皮購物平臺採購各種黏土、模型、美甲材料等創作素材,打造專屬黏土小宇宙的療癒過程。文中分享多個蝦皮挖寶地圖,並推薦蝦皮分潤計畫。
Thumbnail
在小小的租屋房間裡,透過蝦皮購物平臺採購各種黏土、模型、美甲材料等創作素材,打造專屬黏土小宇宙的療癒過程。文中分享多個蝦皮挖寶地圖,並推薦蝦皮分潤計畫。
Thumbnail
小蝸和小豬因購物習慣不同常起衝突,直到發現蝦皮分潤計畫,讓小豬的購物愛好產生價值,也讓小蝸開始欣賞另一半的興趣。想增加收入或改善伴侶間的購物觀念差異?讓蝦皮分潤計畫成為你們的神隊友吧!
Thumbnail
小蝸和小豬因購物習慣不同常起衝突,直到發現蝦皮分潤計畫,讓小豬的購物愛好產生價值,也讓小蝸開始欣賞另一半的興趣。想增加收入或改善伴侶間的購物觀念差異?讓蝦皮分潤計畫成為你們的神隊友吧!
Thumbnail
OpenAI 繼上週發表新的人工智慧模型「GPT-4o mini」,由 AI 驅動的搜尋引擎 SearchGPT 原型也隨之發布,該引擎能結合來自網路的即時資訊,讓使用者像與 ChatGPT 交談一樣搜尋。 透過 SearchGPT,用戶能以自然語言提出問題(與使用 ChatGPT 交談方式相同
Thumbnail
OpenAI 繼上週發表新的人工智慧模型「GPT-4o mini」,由 AI 驅動的搜尋引擎 SearchGPT 原型也隨之發布,該引擎能結合來自網路的即時資訊,讓使用者像與 ChatGPT 交談一樣搜尋。 透過 SearchGPT,用戶能以自然語言提出問題(與使用 ChatGPT 交談方式相同
Thumbnail
先前有消息指出,為了將低對外購 AI 晶片的依賴,微軟投資支持的生成式 AI 應用大廠 OpenAI 已經開始自行設計與生產相關晶片的計畫,並且已經接觸了包括博通 (Broadcom) 等多家晶片大廠。
Thumbnail
先前有消息指出,為了將低對外購 AI 晶片的依賴,微軟投資支持的生成式 AI 應用大廠 OpenAI 已經開始自行設計與生產相關晶片的計畫,並且已經接觸了包括博通 (Broadcom) 等多家晶片大廠。
Thumbnail
據美聯社報導,OpenGPT.com 宣佈推出 OpenGPTs。用戶只需要發佈一個OpenGPTs,便能夠整合所有主要的 AI 引擎包括ChatGPT-4o, Google Imagen, Gemini Pro, 以及Claude 3.5等。
Thumbnail
據美聯社報導,OpenGPT.com 宣佈推出 OpenGPTs。用戶只需要發佈一個OpenGPTs,便能夠整合所有主要的 AI 引擎包括ChatGPT-4o, Google Imagen, Gemini Pro, 以及Claude 3.5等。
Thumbnail
OpenAI 春季發布會推出了 GPT-4o 模型,免費且響應速度更快,具備文字、音訊、影像的多模態輸入功能。
Thumbnail
OpenAI 春季發布會推出了 GPT-4o 模型,免費且響應速度更快,具備文字、音訊、影像的多模態輸入功能。
Thumbnail
2024年5月13日,Openai發布了新一代的模組GPT-4o,念法:GPT-four-O。強調即時對話以及圖像解析能力,官方發布的影片中展現了即席英語-義大利語口譯、程式碼解析、算式解析、人臉表情解析,以及幾乎可媲美真人的語音回應,包含調整語氣、用詞以及模仿機器人語音等,相當令人驚豔。
Thumbnail
2024年5月13日,Openai發布了新一代的模組GPT-4o,念法:GPT-four-O。強調即時對話以及圖像解析能力,官方發布的影片中展現了即席英語-義大利語口譯、程式碼解析、算式解析、人臉表情解析,以及幾乎可媲美真人的語音回應,包含調整語氣、用詞以及模仿機器人語音等,相當令人驚豔。
Thumbnail
ChatGPT新模型GPT-4o即將推出,速度更快,並支援處理影片以及多種語言。免費用戶也可以使用ChatBots,而付費版本則限制頻寬並提高至原本的5倍。此外,還將推出ChatGPT桌面應用程式,讓使用者在電腦上進行各項工作時,更輕鬆地使用ChatGPT。
Thumbnail
ChatGPT新模型GPT-4o即將推出,速度更快,並支援處理影片以及多種語言。免費用戶也可以使用ChatBots,而付費版本則限制頻寬並提高至原本的5倍。此外,還將推出ChatGPT桌面應用程式,讓使用者在電腦上進行各項工作時,更輕鬆地使用ChatGPT。
Thumbnail
OpenAI成立於2015年,旨在以非盈利方式促進AI發展,並避免潛在危害。從GPT-1到GPT-4的發展過程展現了AI無監督學習及多任務學習的潛力。這篇文章回顧了OpenAI在自然語言處理方面的歷程與技術演進,並介紹了各個模型樣本和能力的提升。
Thumbnail
OpenAI成立於2015年,旨在以非盈利方式促進AI發展,並避免潛在危害。從GPT-1到GPT-4的發展過程展現了AI無監督學習及多任務學習的潛力。這篇文章回顧了OpenAI在自然語言處理方面的歷程與技術演進,並介紹了各個模型樣本和能力的提升。
Thumbnail
今天 Google 發表了最新的 AI 模型 Gemini 1.5,不只提高模型訓練和服務效率,而且擁有更強大的理解力,每次能處理的 token 長度更是一口氣突破 100 萬大關,是競爭對手 GPT-4 的 7.8 倍 (GPT-4 目前只提供最長 32K 長度),可以處理更大量的資訊,也擁有更大
Thumbnail
今天 Google 發表了最新的 AI 模型 Gemini 1.5,不只提高模型訓練和服務效率,而且擁有更強大的理解力,每次能處理的 token 長度更是一口氣突破 100 萬大關,是競爭對手 GPT-4 的 7.8 倍 (GPT-4 目前只提供最長 32K 長度),可以處理更大量的資訊,也擁有更大
Thumbnail
Hello 大家好,我是萊丘!OpenAI 公司最新上線的 GPT Store 提供了多種生產力工具、論文研究工具,到生活助手、產圖模型等大類的 GPT app。本文介紹了兩款好用的APP:Consensus 和 Web Browser。此外,還提醒用戶注意授權連接外部公司網站和使用上限的注意事項。
Thumbnail
Hello 大家好,我是萊丘!OpenAI 公司最新上線的 GPT Store 提供了多種生產力工具、論文研究工具,到生活助手、產圖模型等大類的 GPT app。本文介紹了兩款好用的APP:Consensus 和 Web Browser。此外,還提醒用戶注意授權連接外部公司網站和使用上限的注意事項。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News