付費限定文章
降低AI資料傳輸能耗,Drunkenmiller也看好矽光子高成長未來?

閱讀時間約 8 分鐘
raw-image

AI資料中心基礎設施需要加速運算、加速連接和加速儲存。與其他應用程式不同,AI應用程式(例如訓練)無法輕鬆安裝在單一處理器上。AI需要互連的處理器——有時是數千甚至數萬個——這意味著運算和連接(connectivity)從根本上連結在一起。

AI 需要4個 networks

  1. 運算結構 Compute Fabric: 連接 AI加速器、GPU、CPU 和伺服器內的其他元件。此結構設計用於短距離高速運行,通常依賴使用 PCIe 的銅或 NVLink 等專有介面。
  2. 後端網路 backend network: 透過層層互連的網路交換器(network switch)和光模組(Optical module),將上述伺服器連接成AI 集群(clusters)。networking protocol是 InfiniBand 或以太網(Ethernet),但這兩種協定都運行在光模組上。
  3. 前端網路 frontend network:將AI clusters 連接到雲端資料中心進行儲存、交換等。位於AI伺服器內部的CPU將資料移入和移出,每個CPU都有自己的NIC(network interface controller),連接到自己的光學模組。前端網路使用乙太網路protocol
  4. 資料中心互連(Digital Canter interconnect, DCI):使用 100 公里或更長的連結將一個資料中心連接到該地區的其他資料中心。
raw-image


長期以來,矽光子(Silicon Photonics, SiPh)一直被譽為幫助資料中心應對日益增長的頻寬需求並改善伺服器和交換器之間連接性的解決方案。該技術涉及使用矽代替玻璃作為光傳輸介質來創建光子積體電路。

使用矽光子技術的短距離光互連通過實現低功耗和更高的熱效率 (pj/bit) 的高速數據傳輸提供了一種解決方案。這對於減少熱量產生和保持系統高效運行非常重要。矽光子的集成可以創建更小、更密集的光子積體電路 (PiC),從而促進對 AI/ML 工作負載至關重要的高密度頻寬連接。

雲端資料中心營運商必須不斷擴大容量,以滿足客戶對頻寬的永不滿足的需求,在人工智慧等應用的快速部署的推動下,頻寬需求目前以每年 50% 以上的速度成長。同時,他們必須克服嚴格的成本、可靠性和功耗挑戰,以維持經濟可行性。

光模組(Optical modules)是資料中心內部保持資料移動的關鍵環節。他們是數據基礎設施領域的無名英雄之一。

Marvell的長線故事

以行動支持創作者!付費即可解鎖
本篇內容共 3424 字、0 則留言,僅發佈於IEO 國際財經科技前沿觀察你目前無法檢視以下內容,可能因為尚未登入,或沒有該房間的查看權限。
每天閱讀大量資訊的 IEObserve 國際經濟觀察,為你介紹最新的國際財經、政治與科技趨勢潮流和商業分析,從資本市場國際股市切入,介紹與分析影響世界的巨無霸公司,以及哪些成長飛速的新創與高成長公司,正在悄悄改變世界。適合想獲取最新世界不同產業趨勢與經濟變化相關資訊的好學者。
留言0
查看全部
發表第一個留言支持創作者!
你可能也想看
【0507盤前新聞】盼降息+哈瑪斯願停火 美光/AI激勵費半; TV 面板價漲不動了 市況出現拐點【0507盤前重點新聞】 *盼降息+哈瑪斯願停火 美光/AI激勵費半 *輝達股價恐已見頂 華爾街看好3家AI公司前景 *傳微軟將推出自研新AI模型 力拚Google、Anthropic與OpenAI *集邦: TV 面板價漲不動了 市況出現拐點牽動友達、群創
avatar
Miller
2024-05-07
【0408盤前新聞】美3月非農就業超預期 預期Fed首次降息延後;台積電挑戰最強第2季 高速運算、 AI 訂單強勁【0408盤前重點新聞】 *美3月非農就業超預期新增30.3萬人 Fed首次降息時間可能更晚 *OpenAI:ChatGPT企業版需求巨大 已暴增至60萬用戶 *華為推三折機最快季底問世 大立光、富世達、兆利等受惠 *台積電營運挑戰最強第2季 高速運算、 AI 應用訂單強勁
Thumbnail
avatar
Miller
2024-04-07
【0322盤前新聞】樂見Fed降息預測 三大指數續創輝煌;超微 AI PC 處理器出貨了;鴻海躍升為新 AI 股領頭羊 【0322盤前重點新聞】 *市場樂見Fed降息預測 三大指數續創輝煌 *Nike財報優預期 2025H1營收看跌 盤後挫逾6% *電價全面上漲...平均調升11% *超微 AI PC 處理器出貨了 *鴻海躍升為新 AI 股領頭羊
Thumbnail
avatar
Miller
2024-03-22
【0321盤前新聞】Fed仍預測今年降息3次 道瓊登新高 標普突破5200點;AI利多!美光上季意外獲利 盤後漲逾14%【0321盤前重點新聞】 *Fed仍預測今年降息3次 道瓊登新高 標普突破5200點 *瑞銀認錯台積電目標價升至875元 樂觀情境上看千元 *貨櫃海運價下月全面大漲 長榮、陽明北美線加徵附加費 *AI利多!美光上季意外獲利、本季展望佳 盤後漲逾14%
Thumbnail
avatar
Miller
2024-03-21
【0306盤前新聞】科技股賣壓 道瓊狂瀉逾400點 那指創三周最糟單日;超微降規版 AI 晶片銷陸卡關 【0306盤前重點新聞】 *科技股賣壓 道瓊狂瀉逾400點 那指創三周最糟單日 *超微降規版 AI 晶片銷陸卡關 業界:輝達可望搶下更多市占 *韓媒:美光、SK海力士拼HBM良率 以通過輝達測試 *大摩:ABF 載板產業四大利空 保守看三雄
Thumbnail
avatar
Miller
2024-03-06
【0219盤前新聞】PPI打擊降息期待、AI概念股熄火 那指軟;台積熊本一廠開幕倒數 日車含晶量激增【0219盤前重點新聞】 *PPI打擊降息期待、AI概念股熄火 那指軟 *CSP加速導入水冷技術 散熱雙雄搶進「冷革命」商機 *台積熊本一廠開幕倒數 日車含晶量激增 *蘋果折疊手機傳落空 股價挫 *AI扮利器 安控股轉型換骨
Thumbnail
avatar
Miller
2024-02-19
【0201盤前新聞】鮑爾稱3月降息難、AI概念股摔 那指挫;聯發科法說:今年營收估強勁雙位數成長 *鮑爾稱3月降息難、AI概念股摔 那指挫 *FOMC 1月與上次聲明比一比:經濟活動穩步擴張、尚不合適降息 *生成式AI旺、測試設備商愛德萬升財測;台灣銷售暴增 *〈聯發科法說〉今年營收估強勁雙位數成長 迎接下個成長階段
Thumbnail
avatar
Miller
2024-02-01
股癌417筆記整理(半導體製造業復甦主力、FED降息、iPhone16規格、WiFi7、AI螢幕、SaaS投資)事前聲明: 這是我固定每週會做的筆記,稍微紀錄有哪些投資事情可以紀錄,如果想要更清楚的資訊建議來是去聽癌大的Podcast,我只是想要透過整理資料,找到能夠跟我討論相關議題的股友們,想要結交朋友先給一點貢獻,這就是我整理後決定分享筆記的原因: 我只是個菜雞,歡迎諸位前輩大家給我指教: 如果
Thumbnail
avatar
Kevin_malamute |凱文-馬拉穆
2024-01-10
降低AI風險由於AI的關係,帶動台灣大盤上漲,自己的ETF也跟著獲利。 我看到如此瘋狂的大盤,想起巴菲特所說的,當別人貪婪時,要感到恐懼。 在怪老子的直播中,我學到了利用股債配置,犧牲少部分的報酬,但是大幅降低風險波動度。 因此反而開始考慮買入債卷ETF,來平衡股票的風險。 在投資級債卷中,我考慮電信債、醫療債
avatar
蕭琳
2023-05-27
智慧防疫不缺席 智慧製造 AI 新創開必拓:「AI 檢測設備」協助製造業有效降低產線人員群聚風險文、圖/開閉拓數據(Kapito)提供   新冠肺炎全球升溫,政府部門與民間企業努力防止疫情擴散,「智慧防疫」成熱門話題。身為製造業重鎮的台灣,由多家業主自主組成的口罩國家隊,在一個月內成功打造 60 台口罩產線,日產能可達 1,000 萬片,劃下台灣防疫里程碑。然而工廠內部如何兼顧生產速度與
Thumbnail
avatar
廣告雜誌
2020-03-12