付費限定

降低AI資料傳輸能耗,Drunkenmiller也看好矽光子高成長未來?

更新於 發佈於 閱讀時間約 8 分鐘
raw-image

AI資料中心基礎設施需要加速運算、加速連接和加速儲存。與其他應用程式不同,AI應用程式(例如訓練)無法輕鬆安裝在單一處理器上。AI需要互連的處理器——有時是數千甚至數萬個——這意味著運算和連接(connectivity)從根本上連結在一起。

AI 需要4個 networks

  1. 運算結構 Compute Fabric: 連接 AI加速器、GPU、CPU 和伺服器內的其他元件。此結構設計用於短距離高速運行,通常依賴使用 PCIe 的銅或 NVLink 等專有介面。
  2. 後端網路 backend network: 透過層層互連的網路交換器(network switch)和光模組(Optical module),將上述伺服器連接成AI 集群(clusters)。networking protocol是 InfiniBand 或以太網(Ethernet),但這兩種協定都運行在光模組上。
  3. 前端網路 frontend network:將AI clusters 連接到雲端資料中心進行儲存、交換等。位於AI伺服器內部的CPU將資料移入和移出,每個CPU都有自己的NIC(network interface controller),連接到自己的光學模組。前端網路使用乙太網路protocol
  4. 資料中心互連(Digital Canter interconnect, DCI):使用 100 公里或更長的連結將一個資料中心連接到該地區的其他資料中心。
raw-image


長期以來,矽光子(Silicon Photonics, SiPh)一直被譽為幫助資料中心應對日益增長的頻寬需求並改善伺服器和交換器之間連接性的解決方案。該技術涉及使用矽代替玻璃作為光傳輸介質來創建光子積體電路。

使用矽光子技術的短距離光互連通過實現低功耗和更高的熱效率 (pj/bit) 的高速數據傳輸提供了一種解決方案。這對於減少熱量產生和保持系統高效運行非常重要。矽光子的集成可以創建更小、更密集的光子積體電路 (PiC),從而促進對 AI/ML 工作負載至關重要的高密度頻寬連接。

雲端資料中心營運商必須不斷擴大容量,以滿足客戶對頻寬的永不滿足的需求,在人工智慧等應用的快速部署的推動下,頻寬需求目前以每年 50% 以上的速度成長。同時,他們必須克服嚴格的成本、可靠性和功耗挑戰,以維持經濟可行性。

光模組(Optical modules)是資料中心內部保持資料移動的關鍵環節。他們是數據基礎設施領域的無名英雄之一。

Marvell的長線故事

以行動支持創作者!付費即可解鎖
本篇內容共 3424 字、0 則留言,僅發佈於IEO 國際財經科技前沿觀察你目前無法檢視以下內容,可能因為尚未登入,或沒有該房間的查看權限。
每天閱讀大量資訊的 IEObserve 國際經濟觀察,為你介紹最新的國際財經、政治與科技趨勢潮流和商業分析,從資本市場國際股市切入,介紹與分析影響世界的巨無霸公司,以及哪些成長飛速的新創與高成長公司,正在悄悄改變世界。適合想獲取最新世界不同產業趨勢與經濟變化相關資訊的好學者。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
半導體行業Q1表現強勁,AI題材還有火力能夠支撐漲勢嗎?
AI 訓練與推理要用電、EV要用電、半導體製造業回流要用電。同時也吃到再生能源轉型與天然氣等減排發電題材的公司,會有很長的成長跑道。Data Center 資料中心的建置與營運,使得周邊的供應鏈需求有顯著的成長。
半導體行業巨頭們的財報開出,終端市場冰與火同時存在,市場見底了沒?看不同行業與供應鏈上下游的展望
租車巨頭到底有沒有真的要賣兩萬台電動車?是不是對Tesla的需求響起警鐘?部分的事實其實不等於全貌,這篇帶你了解。
2024 從社群電商、AI狂潮再到電動車,背後都有越來越強的中國因素在牽動產業格局變化
半導體行業Q1表現強勁,AI題材還有火力能夠支撐漲勢嗎?
AI 訓練與推理要用電、EV要用電、半導體製造業回流要用電。同時也吃到再生能源轉型與天然氣等減排發電題材的公司,會有很長的成長跑道。Data Center 資料中心的建置與營運,使得周邊的供應鏈需求有顯著的成長。
半導體行業巨頭們的財報開出,終端市場冰與火同時存在,市場見底了沒?看不同行業與供應鏈上下游的展望
租車巨頭到底有沒有真的要賣兩萬台電動車?是不是對Tesla的需求響起警鐘?部分的事實其實不等於全貌,這篇帶你了解。
2024 從社群電商、AI狂潮再到電動車,背後都有越來越強的中國因素在牽動產業格局變化
你可能也想看
Google News 追蹤
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
未來將新增 AI & 半導體巨頭財報之個人解讀。
Thumbnail
Part One 市場指標數據統計與盤勢發展觀察 Part Two 產業族群、波段技術與籌碼教學以及最新營收數據整理
Thumbnail
•Part One 市場指標數據統計與盤勢發展觀察 •Part Two 產業族群、波段技術與籌碼教學以及最新營收數據整理
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
未來將新增 AI & 半導體巨頭財報之個人解讀。
Thumbnail
Part One 市場指標數據統計與盤勢發展觀察 Part Two 產業族群、波段技術與籌碼教學以及最新營收數據整理
Thumbnail
•Part One 市場指標數據統計與盤勢發展觀察 •Part Two 產業族群、波段技術與籌碼教學以及最新營收數據整理