付費限定

降低AI資料傳輸能耗,Drunkenmiller也看好矽光子高成長未來?

閱讀時間約 8 分鐘
raw-image

AI資料中心基礎設施需要加速運算、加速連接和加速儲存。與其他應用程式不同,AI應用程式(例如訓練)無法輕鬆安裝在單一處理器上。AI需要互連的處理器——有時是數千甚至數萬個——這意味著運算和連接(connectivity)從根本上連結在一起。

AI 需要4個 networks

  1. 運算結構 Compute Fabric: 連接 AI加速器、GPU、CPU 和伺服器內的其他元件。此結構設計用於短距離高速運行,通常依賴使用 PCIe 的銅或 NVLink 等專有介面。
  2. 後端網路 backend network: 透過層層互連的網路交換器(network switch)和光模組(Optical module),將上述伺服器連接成AI 集群(clusters)。networking protocol是 InfiniBand 或以太網(Ethernet),但這兩種協定都運行在光模組上。
  3. 前端網路 frontend network:將AI clusters 連接到雲端資料中心進行儲存、交換等。位於AI伺服器內部的CPU將資料移入和移出,每個CPU都有自己的NIC(network interface controller),連接到自己的光學模組。前端網路使用乙太網路protocol
  4. 資料中心互連(Digital Canter interconnect, DCI):使用 100 公里或更長的連結將一個資料中心連接到該地區的其他資料中心。
raw-image


長期以來,矽光子(Silicon Photonics, SiPh)一直被譽為幫助資料中心應對日益增長的頻寬需求並改善伺服器和交換器之間連接性的解決方案。該技術涉及使用矽代替玻璃作為光傳輸介質來創建光子積體電路。

使用矽光子技術的短距離光互連通過實現低功耗和更高的熱效率 (pj/bit) 的高速數據傳輸提供了一種解決方案。這對於減少熱量產生和保持系統高效運行非常重要。矽光子的集成可以創建更小、更密集的光子積體電路 (PiC),從而促進對 AI/ML 工作負載至關重要的高密度頻寬連接。

雲端資料中心營運商必須不斷擴大容量,以滿足客戶對頻寬的永不滿足的需求,在人工智慧等應用的快速部署的推動下,頻寬需求目前以每年 50% 以上的速度成長。同時,他們必須克服嚴格的成本、可靠性和功耗挑戰,以維持經濟可行性。

光模組(Optical modules)是資料中心內部保持資料移動的關鍵環節。他們是數據基礎設施領域的無名英雄之一。

Marvell的長線故事

以行動支持創作者!付費即可解鎖
本篇內容共 3424 字、0 則留言,僅發佈於IEO 國際財經科技前沿觀察你目前無法檢視以下內容,可能因為尚未登入,或沒有該房間的查看權限。
每天閱讀大量資訊的 IEObserve 國際經濟觀察,為你介紹最新的國際財經、政治與科技趨勢潮流和商業分析,從資本市場國際股市切入,介紹與分析影響世界的巨無霸公司,以及哪些成長飛速的新創與高成長公司,正在悄悄改變世界。適合想獲取最新世界不同產業趨勢與經濟變化相關資訊的好學者。
留言0
查看全部
發表第一個留言支持創作者!
半導體行業Q1表現強勁,AI題材還有火力能夠支撐漲勢嗎?
AI 訓練與推理要用電、EV要用電、半導體製造業回流要用電。同時也吃到再生能源轉型與天然氣等減排發電題材的公司,會有很長的成長跑道。Data Center 資料中心的建置與營運,使得周邊的供應鏈需求有顯著的成長。
半導體行業巨頭們的財報開出,終端市場冰與火同時存在,市場見底了沒?看不同行業與供應鏈上下游的展望
租車巨頭到底有沒有真的要賣兩萬台電動車?是不是對Tesla的需求響起警鐘?部分的事實其實不等於全貌,這篇帶你了解。
2024 從社群電商、AI狂潮再到電動車,背後都有越來越強的中國因素在牽動產業格局變化
半導體行業Q1表現強勁,AI題材還有火力能夠支撐漲勢嗎?
AI 訓練與推理要用電、EV要用電、半導體製造業回流要用電。同時也吃到再生能源轉型與天然氣等減排發電題材的公司,會有很長的成長跑道。Data Center 資料中心的建置與營運,使得周邊的供應鏈需求有顯著的成長。
半導體行業巨頭們的財報開出,終端市場冰與火同時存在,市場見底了沒?看不同行業與供應鏈上下游的展望
租車巨頭到底有沒有真的要賣兩萬台電動車?是不是對Tesla的需求響起警鐘?部分的事實其實不等於全貌,這篇帶你了解。
2024 從社群電商、AI狂潮再到電動車,背後都有越來越強的中國因素在牽動產業格局變化
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
【0507盤前重點新聞】 *盼降息+哈瑪斯願停火 美光/AI激勵費半 *輝達股價恐已見頂 華爾街看好3家AI公司前景 *傳微軟將推出自研新AI模型 力拚Google、Anthropic與OpenAI *集邦: TV 面板價漲不動了 市況出現拐點牽動友達、群創
Thumbnail
【0408盤前重點新聞】 *美3月非農就業超預期新增30.3萬人 Fed首次降息時間可能更晚 *OpenAI:ChatGPT企業版需求巨大 已暴增至60萬用戶 *華為推三折機最快季底問世 大立光、富世達、兆利等受惠 *台積電營運挑戰最強第2季 高速運算、 AI 應用訂單強勁
Thumbnail
【0322盤前重點新聞】 *市場樂見Fed降息預測 三大指數續創輝煌 *Nike財報優預期 2025H1營收看跌 盤後挫逾6% *電價全面上漲...平均調升11% *超微 AI PC 處理器出貨了 *鴻海躍升為新 AI 股領頭羊
Thumbnail
【0321盤前重點新聞】 *Fed仍預測今年降息3次 道瓊登新高 標普突破5200點 *瑞銀認錯台積電目標價升至875元 樂觀情境上看千元 *貨櫃海運價下月全面大漲 長榮、陽明北美線加徵附加費 *AI利多!美光上季意外獲利、本季展望佳 盤後漲逾14%
Thumbnail
【0306盤前重點新聞】 *科技股賣壓 道瓊狂瀉逾400點 那指創三周最糟單日 *超微降規版 AI 晶片銷陸卡關 業界:輝達可望搶下更多市占 *韓媒:美光、SK海力士拼HBM良率 以通過輝達測試 *大摩:ABF 載板產業四大利空 保守看三雄
Thumbnail
【0219盤前重點新聞】 *PPI打擊降息期待、AI概念股熄火 那指軟 *CSP加速導入水冷技術 散熱雙雄搶進「冷革命」商機 *台積熊本一廠開幕倒數 日車含晶量激增 *蘋果折疊手機傳落空 股價挫 *AI扮利器 安控股轉型換骨
Thumbnail
*鮑爾稱3月降息難、AI概念股摔 那指挫 *FOMC 1月與上次聲明比一比:經濟活動穩步擴張、尚不合適降息 *生成式AI旺、測試設備商愛德萬升財測;台灣銷售暴增 *〈聯發科法說〉今年營收估強勁雙位數成長 迎接下個成長階段
Thumbnail
事前聲明: 這是我固定每週會做的筆記,稍微紀錄有哪些投資事情可以紀錄,如果想要更清楚的資訊建議來是去聽癌大的Podcast,我只是想要透過整理資料,找到能夠跟我討論相關議題的股友們,想要結交朋友先給一點貢獻,這就是我整理後決定分享筆記的原因: 我只是個菜雞,歡迎諸位前輩大家給我指教: 如果
由於AI的關係,帶動台灣大盤上漲,自己的ETF也跟著獲利。 我看到如此瘋狂的大盤,想起巴菲特所說的,當別人貪婪時,要感到恐懼。 在怪老子的直播中,我學到了利用股債配置,犧牲少部分的報酬,但是大幅降低風險波動度。 因此反而開始考慮買入債卷ETF,來平衡股票的風險。 在投資級債卷中,我考慮電信債、醫療債
Thumbnail
文、圖/開閉拓數據(Kapito)提供   新冠肺炎全球升溫,政府部門與民間企業努力防止疫情擴散,「智慧防疫」成熱門話題。身為製造業重鎮的台灣,由多家業主自主組成的口罩國家隊,在一個月內成功打造 60 台口罩產線,日產能可達 1,000 萬片,劃下台灣防疫里程碑。然而工廠內部如何兼顧生產速度與
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
【0507盤前重點新聞】 *盼降息+哈瑪斯願停火 美光/AI激勵費半 *輝達股價恐已見頂 華爾街看好3家AI公司前景 *傳微軟將推出自研新AI模型 力拚Google、Anthropic與OpenAI *集邦: TV 面板價漲不動了 市況出現拐點牽動友達、群創
Thumbnail
【0408盤前重點新聞】 *美3月非農就業超預期新增30.3萬人 Fed首次降息時間可能更晚 *OpenAI:ChatGPT企業版需求巨大 已暴增至60萬用戶 *華為推三折機最快季底問世 大立光、富世達、兆利等受惠 *台積電營運挑戰最強第2季 高速運算、 AI 應用訂單強勁
Thumbnail
【0322盤前重點新聞】 *市場樂見Fed降息預測 三大指數續創輝煌 *Nike財報優預期 2025H1營收看跌 盤後挫逾6% *電價全面上漲...平均調升11% *超微 AI PC 處理器出貨了 *鴻海躍升為新 AI 股領頭羊
Thumbnail
【0321盤前重點新聞】 *Fed仍預測今年降息3次 道瓊登新高 標普突破5200點 *瑞銀認錯台積電目標價升至875元 樂觀情境上看千元 *貨櫃海運價下月全面大漲 長榮、陽明北美線加徵附加費 *AI利多!美光上季意外獲利、本季展望佳 盤後漲逾14%
Thumbnail
【0306盤前重點新聞】 *科技股賣壓 道瓊狂瀉逾400點 那指創三周最糟單日 *超微降規版 AI 晶片銷陸卡關 業界:輝達可望搶下更多市占 *韓媒:美光、SK海力士拼HBM良率 以通過輝達測試 *大摩:ABF 載板產業四大利空 保守看三雄
Thumbnail
【0219盤前重點新聞】 *PPI打擊降息期待、AI概念股熄火 那指軟 *CSP加速導入水冷技術 散熱雙雄搶進「冷革命」商機 *台積熊本一廠開幕倒數 日車含晶量激增 *蘋果折疊手機傳落空 股價挫 *AI扮利器 安控股轉型換骨
Thumbnail
*鮑爾稱3月降息難、AI概念股摔 那指挫 *FOMC 1月與上次聲明比一比:經濟活動穩步擴張、尚不合適降息 *生成式AI旺、測試設備商愛德萬升財測;台灣銷售暴增 *〈聯發科法說〉今年營收估強勁雙位數成長 迎接下個成長階段
Thumbnail
事前聲明: 這是我固定每週會做的筆記,稍微紀錄有哪些投資事情可以紀錄,如果想要更清楚的資訊建議來是去聽癌大的Podcast,我只是想要透過整理資料,找到能夠跟我討論相關議題的股友們,想要結交朋友先給一點貢獻,這就是我整理後決定分享筆記的原因: 我只是個菜雞,歡迎諸位前輩大家給我指教: 如果
由於AI的關係,帶動台灣大盤上漲,自己的ETF也跟著獲利。 我看到如此瘋狂的大盤,想起巴菲特所說的,當別人貪婪時,要感到恐懼。 在怪老子的直播中,我學到了利用股債配置,犧牲少部分的報酬,但是大幅降低風險波動度。 因此反而開始考慮買入債卷ETF,來平衡股票的風險。 在投資級債卷中,我考慮電信債、醫療債
Thumbnail
文、圖/開閉拓數據(Kapito)提供   新冠肺炎全球升溫,政府部門與民間企業努力防止疫情擴散,「智慧防疫」成熱門話題。身為製造業重鎮的台灣,由多家業主自主組成的口罩國家隊,在一個月內成功打造 60 台口罩產線,日產能可達 1,000 萬片,劃下台灣防疫里程碑。然而工廠內部如何兼顧生產速度與