共封裝光學(CPO):AI 資料中心的頻寬解法

更新 發佈閱讀 7 分鐘

今天我們來談談 CPO(Co-Packaged Optics,共封裝光學)。二十年前,半導體產業透過摩爾定律讓運算力一路狂飆。從九零年代末的 Intel CPU,到今天的 Nvidia B200 GPU,浮點運算能力已經放大十幾萬倍。然而,這些效能並沒有被完全發揮,因為我們撞上了一堵又一堵牆。過去我們常說的記憶體牆,如今又多了一道全新的瓶頸:I/O 頻寬牆。CPO 正是被推到舞台中央的解法。

當 GPU 在訓練 AI 模型時,數據必須以極高的速率在伺服器與伺服器之間傳遞。銅線能處理幾公分到兩公尺的傳輸,但更長距離就會因損耗與功耗失衡而無法負荷。這時光纖接手,卻因為轉換必須經過獨立的可插拔光模組,導致速度與能效都被拖累。這種「矽能跑,光卻卡」的落差,讓 CPO 顯得迫切。


什麼是 CPO?

CPO 的核心就是把光學引擎拉近晶片

傳統是交換晶片出電訊號,經過 SerDes(Serializer/Deserializer,串行化/反串行化電路) 把多條平行電訊號整理成高速的串行訊號,再送到板卡前端的光模組轉換成光。

有了 CPO,SerDes 並不會消失,但它的負擔會大幅減輕。因為光引擎就放在晶片封裝旁,訊號不需要長距離銅線傳輸,衰減變少,SerDes 不必超頻運作或做大量補償。這意味著 CPO 是減少 SerDes 的能耗與複雜度,而不是替代它。


挑戰與解法

但把光學元件搬進封裝不是簡單的事。第一個問題是散熱。光子電路的波導對熱非常敏感,稍有偏移就可能與雷射波長錯開而失效。第二個問題是耦合。光纖核心直徑約 10 微米,而晶片內的波導只有幾百奈米,要把消防水管對準吸管並不容易。再來是生態系的慣性。可插拔模組便宜、成熟、可替換,要說服客戶捨棄它,需要一個足夠強大的理由。

這就是為什麼我們看到中繼解法。例如 On-Board Optics(OBO)把光引擎放在電路板上,Near-Package Optics(NPO)則透過中介層拉近距離。它們就像 2.5D 是 3D 的過渡方案,逐步把產業推向共封裝光學。


從概念到實踐

雖然學界早在 2000 年代初期就有人討論光子電路靠近邏輯 IC的可行性,但真正被產業正式提出,始於 2018 年 Microsoft 領導的 OBO 聯盟。這是第一個嘗試用標準化方式把光學模組移近伺服器板卡。

接著在 2019–2020 年,市場開始出現 Near-Package Optics 的方案,「Co-Packaged Optics」這個名稱才被廣泛使用。第一個真正落地的產品是 Broadcom 的 Tomahawk 5 交換晶片,在 2020 年達到 51.2 Tbps,並內建 CPO,成為業界公認的先行者。

2021 年,TSMC 推出 COUPE(Compact Universal Photonics Engine)平台,把電性 IC 疊在光子 IC 上,透過 3D 封裝提升速度並降低功耗。雖然一開始反應冷淡,但在 2023–2025 年生成式 AI 浪潮帶動下,TSMC 與 Nvidia 結盟推出支援 CPO 的交換平台,讓技術正式走出實驗室。

同時,GlobalFoundries (GF,美國總部的晶圓代工廠)長期經營的 Fotonix 平台與新創 Ayar Labs、Ranovus、Lightmatter 形成了另一股勢力。他們更早推出光學 chiplet產品,甚至獲得 AMD 與 Intel 投資,展現另一種路線。

簡而言之,Broadcom 商用最早,TSMC 建立封裝生態,GF 和新創在矽光子技術上領先,Nvidia 則因 AI 浪潮把 CPO 變成必備。


馮紐曼瓶頸 vs. CPO 頻寬牆

如果回顧我們在 EP82 討論過的「馮紐曼瓶頸」,會更容易理解 CPO 的定位。

  • 馮紐曼瓶頸:處理器與記憶體之間的通道受限,CPU/GPU 算力再快,也常常在等 DRAM 傳資料。這是 晶片內部架構層級的問題。就像一個人腦袋很快,但眼睛閱讀太慢,大腦只能乾等。
  • CPO 頻寬牆:伺服器與伺服器之間的資料通道不足。當數千張 GPU 要同時交換訓練資料時,銅線與傳統光模組成為障礙。這是 資料中心網路層級的問題。就像不同房間的腦袋要開會,卻因走廊太窄或電話線太慢而卡住。

兩者疊加起來,構成了算力發揮的雙重障礙。這也解釋了為什麼 HBM、Cache、In-Memory Computing 這些技術會和 CPO 一起被提及:前者解決的是內部瓶頸,後者解決的是外部瓶頸。


(延伸閱讀:記憶體與馮紐曼瓶頸:從 DRAM 到 HBM 的演進


能耗壓力與市場拐點

CPO 之所以在 2023 後加速,背後是 AI 工廠的能耗壓力。資料中心的電力預算有限,若 SerDes 與網路傳輸吃掉過多功率,就等於 GPU 算力被白白浪費。這使得從「nice to have」變成「must have」。

Nvidia 在 GTC 發表的新平台,把 CPO 帶入實戰。

Nvidia 在 GTC 發表的新平台,把 CPO 帶入實戰。

因此,Nvidia 在 2025 年 GTC(GPU Technology Conference,Nvidia 每年舉辦的旗艦活動)宣布的 Quantum-X 與 Spectrum-X 平台,分別代表兩條線:Quantum-X 是基於 InfiniBand 的高效能交換平台,專為 AI 超算與低延遲工作負載設計;Spectrum-X 則是基於 Ethernet 的 AI 資料中心網路,強調規模化部署的效率與彈性。這兩者首次整合 CPO,並宣稱能提升 3.5 倍能效與 10 倍韌性,標誌著 CPO 從實驗走向實戰。


CPO 的推廣仍面臨現實考量。首先,標準尚未統一,供應鏈分工仍混亂。其次,光子與電性元件的溫控問題,若解不開,將限制規模擴張。最後,對於全光子晶片的幻想雖然存在,但缺乏穩定的片上光源與邏輯設計基礎,仍停留在遠景。

它不是一夕翻轉,而是透過封裝這條路徑,逐漸重構雲端的能源與效能地圖。




留言
avatar-img
留言分享你的想法!
avatar-img
邊喝邊想
3會員
97內容數
有些問題,邊喝點東西,邊想,會比較有答案。這裡是我閱讀、觀察、懷疑,然後慢慢轉化的地方。寫的東西有科技、咖啡、酒,偶爾是神話。如果你也喜歡慢慢想事情,跟著我的節奏,這裡或許適合你。
邊喝邊想的其他內容
2025/09/09
2025蘋果發表會聚焦設計回歸,iPhone 17 Air極薄亮相,NPU與N1晶片成幕後基礎。
Thumbnail
2025/09/09
2025蘋果發表會聚焦設計回歸,iPhone 17 Air極薄亮相,NPU與N1晶片成幕後基礎。
Thumbnail
2025/09/09
生成式 AI 推動 GPU 狂潮,NVIDIA 生態壟斷與新雲端勢力競逐登場。
Thumbnail
2025/09/09
生成式 AI 推動 GPU 狂潮,NVIDIA 生態壟斷與新雲端勢力競逐登場。
Thumbnail
2025/09/08
Google 保住 Chrome,但反壟斷重寫規則,全球監管壓力下入口與收入模式正改變。
Thumbnail
2025/09/08
Google 保住 Chrome,但反壟斷重寫規則,全球監管壓力下入口與收入模式正改變。
Thumbnail
看更多
你可能也想看
Thumbnail
透過蝦皮分潤計畫,輕鬆賺取零用金!本文分享5-6月實測心得,包含數據流程、實際收入、平臺優點及注意事項,並推薦高分潤商品,教你如何運用空閒時間創造被動收入。
Thumbnail
透過蝦皮分潤計畫,輕鬆賺取零用金!本文分享5-6月實測心得,包含數據流程、實際收入、平臺優點及注意事項,並推薦高分潤商品,教你如何運用空閒時間創造被動收入。
Thumbnail
單身的人有些會養寵物,而我養植物。畢竟寵物離世會傷心,植物沒養好再接再厲就好了~(笑)
Thumbnail
單身的人有些會養寵物,而我養植物。畢竟寵物離世會傷心,植物沒養好再接再厲就好了~(笑)
Thumbnail
不知你有沒有過這種經驗?衛生紙只剩最後一包、洗衣精倒不出來,或電池突然沒電。這次一次補貨,從電池、衛生紙到洗衣精,還順便分享使用心得。更棒的是,搭配蝦皮分潤計畫,愛用品不僅自己用得安心,分享給朋友還能賺回饋。立即使用推薦碼 X5Q344E,輕鬆上手,隨時隨地賺取分潤!
Thumbnail
不知你有沒有過這種經驗?衛生紙只剩最後一包、洗衣精倒不出來,或電池突然沒電。這次一次補貨,從電池、衛生紙到洗衣精,還順便分享使用心得。更棒的是,搭配蝦皮分潤計畫,愛用品不僅自己用得安心,分享給朋友還能賺回饋。立即使用推薦碼 X5Q344E,輕鬆上手,隨時隨地賺取分潤!
Thumbnail
身為一個典型的社畜,上班時間被會議、進度、KPI 塞得滿滿,下班後只想要找一個能夠安靜喘口氣的小角落。對我來說,畫畫就是那個屬於自己的小樹洞。無論是胡亂塗鴉,還是慢慢描繪喜歡的插畫人物,那個專注在筆觸和色彩的過程,就像在幫心靈按摩一樣,讓緊繃的神經慢慢鬆開。
Thumbnail
身為一個典型的社畜,上班時間被會議、進度、KPI 塞得滿滿,下班後只想要找一個能夠安靜喘口氣的小角落。對我來說,畫畫就是那個屬於自己的小樹洞。無論是胡亂塗鴉,還是慢慢描繪喜歡的插畫人物,那個專注在筆觸和色彩的過程,就像在幫心靈按摩一樣,讓緊繃的神經慢慢鬆開。
Thumbnail
CoWoS(Chip-on-Wafer-on-Substrate)是一種先進的半導體封裝技術,主要針對 7 奈米及以下的晶片技術。 CoWoS 技術將多個晶片整合並堆疊在同一基板上,通過縮短晶片之間的線路間距來提高效能,降低功耗和成本。 這種技術廣泛應用於消費性電子產品、高速運算(HPC)、
Thumbnail
CoWoS(Chip-on-Wafer-on-Substrate)是一種先進的半導體封裝技術,主要針對 7 奈米及以下的晶片技術。 CoWoS 技術將多個晶片整合並堆疊在同一基板上,通過縮短晶片之間的線路間距來提高效能,降低功耗和成本。 這種技術廣泛應用於消費性電子產品、高速運算(HPC)、
Thumbnail
先前有消息指出,為了將低對外購 AI 晶片的依賴,微軟投資支持的生成式 AI 應用大廠 OpenAI 已經開始自行設計與生產相關晶片的計畫,並且已經接觸了包括博通 (Broadcom) 等多家晶片大廠。
Thumbnail
先前有消息指出,為了將低對外購 AI 晶片的依賴,微軟投資支持的生成式 AI 應用大廠 OpenAI 已經開始自行設計與生產相關晶片的計畫,並且已經接觸了包括博通 (Broadcom) 等多家晶片大廠。
Thumbnail
這篇文章探討了NVIDIA在推論式AI半導體市場的挑戰,以及介紹了Intel在AI領域的強化舉措。文章中提到了新興企業可能有機會取代現有市場領導者,並討論了RISC-V技術在AI半導體市場的應用和其他相關動向。
Thumbnail
這篇文章探討了NVIDIA在推論式AI半導體市場的挑戰,以及介紹了Intel在AI領域的強化舉措。文章中提到了新興企業可能有機會取代現有市場領導者,並討論了RISC-V技術在AI半導體市場的應用和其他相關動向。
Thumbnail
科技巨擘聯手推進生成式AI發展 開創人工智慧新時代 在生成式人工智慧(Generative AI)的浪潮中,雲端運算龍頭AWS和晶片巨擘NVIDIA攜手合作,推出一系列革命性的基礎設施、軟體和服務。
Thumbnail
科技巨擘聯手推進生成式AI發展 開創人工智慧新時代 在生成式人工智慧(Generative AI)的浪潮中,雲端運算龍頭AWS和晶片巨擘NVIDIA攜手合作,推出一系列革命性的基礎設施、軟體和服務。
Thumbnail
NVIDIA 黃仁勳 - AI人工智慧時代如何帶動全球新產業革命(個人紀錄用) 🇺🇸Omniverse 就是未來集大成,而加速運算、人工智慧就是兩個最重要的技術核心 🇺🇸CPU效能的擴充速度正在大幅降低,提出「運算通膨」概念
Thumbnail
NVIDIA 黃仁勳 - AI人工智慧時代如何帶動全球新產業革命(個人紀錄用) 🇺🇸Omniverse 就是未來集大成,而加速運算、人工智慧就是兩個最重要的技術核心 🇺🇸CPU效能的擴充速度正在大幅降低,提出「運算通膨」概念
Thumbnail
解釋完 CPO 架構與運作模式及 tsmc 剛發布的 COUPE 技術與 CPO 規劃之後,接下來談何謂光收發模組?而光收發模組的未來技術與產業趨勢又如何?
Thumbnail
解釋完 CPO 架構與運作模式及 tsmc 剛發布的 COUPE 技術與 CPO 規劃之後,接下來談何謂光收發模組?而光收發模組的未來技術與產業趨勢又如何?
Thumbnail
AI應用遍地開花,討論AI晶片的同時,也來認識一下台積電的其中一項先進封裝技術CoWoS,本篇試圖簡單說明。
Thumbnail
AI應用遍地開花,討論AI晶片的同時,也來認識一下台積電的其中一項先進封裝技術CoWoS,本篇試圖簡單說明。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News