網友問的問題:有關美股公司在AI伺服器液冷佈局的概況(2)

閱讀時間約 4 分鐘
  • 文內如有投資理財相關經驗、知識、資訊等內容,皆為創作者個人分享行為。
  • 有價證券、指數與衍生性商品之數據資料,僅供輔助說明之用,不代表創作者投資決策之推介及建議。
  • 閱讀同時,請審慎思考自身條件及自我決策,並應有為決策負責之事前認知。
  • 方格子希望您能從這些分享內容汲取投資養份,養成獨立思考的能力、判斷、行動,成就最適合您的投資理財模式。



問題:有關R系列功耗看到資訊是比GB200少25%功耗,R系列功耗比較低的話,還有需要用浸沒式嗎?會不會沿用水冷散熱呢?



回答:

我們家分析師大人他去SMCI時有問工程師, 工程師回答的思考邏輯大致是這樣:

舉例來說:假設這世界上你沒有浸沒式液冷這個選項, 氣冷散熱跟水冷相比的優缺點是什麼?


氣冷:價格便宜, 成本較低, 裝載及維修方便, 環保, 不需要太多認證...

但缺點就是最大那個:散熱較差, 造成熱高溫下, 運算效率變慢

但後來大家還是選水冷散熱, 至少目前已逐漸進入到水冷的時代, 但你也許會想那是GB200的TDP比H100多很多....


所以這裡多加幾個考慮的因子要一起考量, 散熱是最重的因子, 因為後面牽涉到運算效率的問題, 但同樣的還有考慮是總成本, 也就是我需要多少的花同樣的散熱設備但哪一個效率可以更好...當然還有環保等因素考量


題外思考:

如果夏天電風扇可就以讓你降溫, 為什麼人類要多花錢裝冷氣?然後裝了冷氣, 之後還要有變頻式冷氣?因為冷氣比電風扇貴, 變頻式冷氣又比非變頻冷氣貴?為什麼大家現在都裝變頻的?

答案應該很容易, 因為人類思考的就是總成本的考量, 不是單一價格的考量

(其實投資理財很多都套用, 包括你買一台EV, 你的總支出考量勝過單一車價...很多例子)


OK, 回到問題討論上:

R系列單一晶片的TDP比GB系列散熱假設降低25%(資料來源是Call詢問的, 目前沒有官方正式數據, 也沒有leak news測試數據, 因為預計2025年Q4進入量產), 但還是將近1000TDP(有非官方數據透露), 因此考慮的有幾的變數:

  1. 仍然很熱, 如果有更好的解決方案, 可以快速或延長運算效率, 那會選較好的
  2. 哪一個總成本較低?(總成本包括:使用年限, 故障維護, 平時保養)
  3. 環保因素, 現在歐洲環保標準很高, 包括水資源使用, 這是額外成本 


補充資料:

1. 各散熱方式的主要零組件:

氣冷的主要零組件: 散熱片, 風扇, 散熱膏, 風道, 機箱, 控制器.

水冷主要組件:冷頭, 水泵, 散熱排, 風扇, 冷卻液, 管路, 儲液罐, 接頭和夾具 

浸沒式主要組件:浸沒槽, 冷卻液, 循環泵, 熱交換器, 過濾系統, 控制單元 , 管路和接頭, 密封和保護裝置

氣冷主要成本:散熱片、風扇、散熱膏、機箱。

水冷主要成本:冷頭、水泵、散熱排、風扇、冷卻液、管路、儲液罐、接頭。

浸沒式主要成本:浸沒槽、冷卻液、循環泵、熱交換器、過濾系統、控制單元、管路和接頭、密封裝置。


2. 模型推估的成本:

大人的模型推估出來的(我沒有完整看過他的模型, 這是他告訴我的數據):

氣冷:總成本約 $670/rack。

水冷:總成本約 $1950/rack。

浸沒式:總成本約 $7700/rack。


3.考慮初期建設成本 :浸沒式非常高

初期設備成本大約是氣冷系統的2-3倍。(上面的資料可以推算)



4.考慮長期運營效益:

邊際成本遞減, 用越多越划算的概念(跟老黃講的一樣, 這也是科技推動的長期邊際成本逐漸降低的效應)

  1. 能源效率:浸沒式的能源效率極高,能效比(PUE)可以低至1.02-1.07,顯著低於氣冷和傳統水冷系統, 數據中心在運行過程中可以顯著節省電力成本​​。
  2. 減少水資源使用:浸沒式不需使用水資源,相比傳統水冷系統,這不僅節省了水資源成本,還減少了環境影響。
  3. 降低運營成本:浸沒式的運營成本可降低高達95%,因為它能有效地將熱量轉移到冷卻液中,不需要額外的空調設備(如CRAC或CRAH),並能提高冷卻密度,減少對空間的需求。



5.浸沒式其他的優點:

  1. 硬體壽命延長

浸沒式能均勻冷卻所有電子元件,減少熱應力對設備的損害,從而延長硬體的使用壽命,浸沒式冷卻環境能保護設備免受灰塵和濕氣的影響提高使用年限​ 。

  1. 環境和法規優勢

浸沒式降低了能源和水資源的使用,它能幫助數據中心符合越來越嚴格的環保法規和標準(尤其對環境保護非常機車的歐洲各國),美國能源部和歐盟最近提出更嚴格的HVAC標準,要求數據中心進行成本效益分析並捕捉並利用多餘熱量​ 。


結論:

簡單講就是浸沒式的高效能和低運營成本可以顯著降低數據中心的總成本,並提高其競爭力和環境友好度。

雖然浸沒式液冷系統的初期建設成本較高,但從長期來看,包括總成本、運算效率和環境效益等...一堆的考量,理論上浸沒式液冷系統較其他散熱方式更經濟和可持續的方案,但不是所有都要選擇浸沒式解決方案, 還是要考慮有沒有必要?小公司不會一間小小的機房就用到浸沒式, 需要工程師去計算一堆數據, 找出解決方案, 美股有很多這種解決的工程公司.


    Phd Economist, Macroeconomics analysis, Analyst of Quantitative Finance. Research on data science and game theory. FB Nickname:MimiVsJames. 大型資產管理公司的量化金融交易工程師
    留言0
    查看全部
    發表第一個留言支持創作者!
    最近有很多美國的客戶想了解AI運算造成的電力需求大幅提升, 對產業或股價的影響?是否有一些基本的根據來計算, 得出對電力股的股價合理估值在哪裡?
    今天是美西時間(6/6), 跟大家報告本週開會的大致重點.
    Block 的Cash App 的成長強勁,公司提高獲利能力對未來獲利相當有幫助,雖然獲利不確定性較高,但長期來看公司仍具有巨大的成長潛力和強大的韌性,考慮該公司強勁的獲利能力、兩位數的營收成長和淨現金資產負債表,估目前股價值看起來相當有吸引力,給予「買入」評等,一年內目標價90美元。
    今天INTC有舉辦法說, 大人拜訪後的心得結論:短期中立, 長期是否買進仍待Q2財報觀察 看好他的先進封裝,已經佈局很久,但不看好他的代工業務, 未來代工業務還是虧損, 在Q2財報要看虧損擴大的程度,如果持續虧損擴大, 股價有機會下探23-25元。
    AI產業和NVDA短期有沒有可能會休息?近期在華爾街Buy Side圈私底下討論很熱烈 結論: 今年AI產業或NVDA, MSFT, GOOG, META, AMZN等AI龍頭股上, 短線美國法人/ 機構獲利相當大, 所以有部分機構趁高檔將持股“部分”獲利了結, 但不代表他們長期看壞這些個股
    結論: APH 為高品質的連接器和感測器公司,在過去幾年中業績表現強勁成長,由於該公司產品及業務範圍廣泛,所以部分業務的成長抵消其他市場疲,該公司受到產業的週期性波動較小,公司長期透過併購產生強勁的收入和節省成本策略產生的粽效,可為長期股東帶來長期價值增長,是一家長期投資的好公司。
    最近有很多美國的客戶想了解AI運算造成的電力需求大幅提升, 對產業或股價的影響?是否有一些基本的根據來計算, 得出對電力股的股價合理估值在哪裡?
    今天是美西時間(6/6), 跟大家報告本週開會的大致重點.
    Block 的Cash App 的成長強勁,公司提高獲利能力對未來獲利相當有幫助,雖然獲利不確定性較高,但長期來看公司仍具有巨大的成長潛力和強大的韌性,考慮該公司強勁的獲利能力、兩位數的營收成長和淨現金資產負債表,估目前股價值看起來相當有吸引力,給予「買入」評等,一年內目標價90美元。
    今天INTC有舉辦法說, 大人拜訪後的心得結論:短期中立, 長期是否買進仍待Q2財報觀察 看好他的先進封裝,已經佈局很久,但不看好他的代工業務, 未來代工業務還是虧損, 在Q2財報要看虧損擴大的程度,如果持續虧損擴大, 股價有機會下探23-25元。
    AI產業和NVDA短期有沒有可能會休息?近期在華爾街Buy Side圈私底下討論很熱烈 結論: 今年AI產業或NVDA, MSFT, GOOG, META, AMZN等AI龍頭股上, 短線美國法人/ 機構獲利相當大, 所以有部分機構趁高檔將持股“部分”獲利了結, 但不代表他們長期看壞這些個股
    結論: APH 為高品質的連接器和感測器公司,在過去幾年中業績表現強勁成長,由於該公司產品及業務範圍廣泛,所以部分業務的成長抵消其他市場疲,該公司受到產業的週期性波動較小,公司長期透過併購產生強勁的收入和節省成本策略產生的粽效,可為長期股東帶來長期價值增長,是一家長期投資的好公司。
    你可能也想看
    Google News 追蹤
    Thumbnail
    近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
    Thumbnail
    洪峯 臉書粉絲專頁 這是有網友提問關於00919現在可不可以買的相關問題 剛好...昨晚我睡覺時..作夢..夢到這個情境.. 故事純屬虛構..若有雷同純屬巧合 夢裡發現....有一個人..直接跳出來...叫喊著... 這是實戰篇:基本功..沒做好的.. 就想跳下來買=找死嘿 00919
    Thumbnail
    提供如何處理工作與人際關係負面情緒的建議,包括掌控感、格局大小和模範等三個方面。
    Thumbnail
    網友提問 15 : 穩定關係的男友不想結婚,我該離開嗎? 讀者提問:「你好~以下是我的提問,謝謝你 我有一位在一起多年的對象,剛在一起時並沒有想到結婚的事情,但隨著年齡到了 30 開始想要結婚定下來,但對象表示現在在一起的模式就很好,且我從以前認識他的時候就知道他不想進入婚姻。 我與他的感情很穩定,
    Thumbnail
    網友提問 14 : 掌握選擇權,才是開始改變的關鍵 網友提問:「目前辭職在做社區型團購(住家一樓),家人認為現在疫情趨緩,需要什麼就去超商大賣場購買,團購只看得到圖文又要等待,不適合現在花時間金錢去做甚至直講絕對做不起來的話,現在在家的時間他們就會說趕快收起來出去找穩定的工作,感覺我好像做錯事隨時要
    Thumbnail
    不論你現在是年輕還是中壯年,你可以用五年或十年去佈局。 你可能藉由找到自己興趣,或是了解自己的天賦、熱情什麼的,這些東西我過去幾年也熱衷過一陣子,不過我在其中發現自己成為討厭的那種人。 怎麼說呢? 我自己是討厭那種光說不練的人,要他做一件事很難,但是他可以自動的抱怨很多的壞事,就算你本來身邊好、壞事
    Thumbnail
    不需要扛責任的人本來就不用目標,只要遵照任務指示去操作就好。 一個沒有目標的人想要解決「沒目標」的問題,就像已經有錢的人在煩惱有錢怎麼辦? 沒目標很棒啊,誰說一定要有目標? 但你沒目標同時又覺得沒目標是問題,在你心中或許有個矛盾,也就是沒目標很好,但我好像其實是有事情要去解決的。 你或許真的沒有責任
    Thumbnail
    一篇文章、一則金句、一個小觀念大改變,透過文字啟發你的一週,幫助你持續成長,遇見更好的自己。
    Thumbnail
    定期定額買了0050或VTI後,如何讓自己不要去理會股市漲跌?說真的錢投進去後,不想看一下真的需要很大的意志力。是否可提供一些方法? Hi, Li: 首先感謝你觀看這部乏人問津的影片...^^|| 這部影片基本上講的是:投資標的只要正確,其他的事情就讓時間去運作。若採用的是主動選股的策略,我們可能還
    Thumbnail
    前陣子看到有朋友在詢問如何直接在 PPT 上實現類似像上面這張圖那樣半透明的剪影效果,又或是類似像攝影上「重複曝光」那樣的感覺?
    Thumbnail
    接連幾篇文章,淫狐和各位談到在泰國培養老點的這件事。老點這個玩法,對於到泰國玩樂來說算是進階版的玩法。所以,也有一些網友對於這個有些疑問。在這篇文章中,淫狐整理了一下比較多網友提問的問題,在文章中統一回答。
    Thumbnail
    近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
    Thumbnail
    洪峯 臉書粉絲專頁 這是有網友提問關於00919現在可不可以買的相關問題 剛好...昨晚我睡覺時..作夢..夢到這個情境.. 故事純屬虛構..若有雷同純屬巧合 夢裡發現....有一個人..直接跳出來...叫喊著... 這是實戰篇:基本功..沒做好的.. 就想跳下來買=找死嘿 00919
    Thumbnail
    提供如何處理工作與人際關係負面情緒的建議,包括掌控感、格局大小和模範等三個方面。
    Thumbnail
    網友提問 15 : 穩定關係的男友不想結婚,我該離開嗎? 讀者提問:「你好~以下是我的提問,謝謝你 我有一位在一起多年的對象,剛在一起時並沒有想到結婚的事情,但隨著年齡到了 30 開始想要結婚定下來,但對象表示現在在一起的模式就很好,且我從以前認識他的時候就知道他不想進入婚姻。 我與他的感情很穩定,
    Thumbnail
    網友提問 14 : 掌握選擇權,才是開始改變的關鍵 網友提問:「目前辭職在做社區型團購(住家一樓),家人認為現在疫情趨緩,需要什麼就去超商大賣場購買,團購只看得到圖文又要等待,不適合現在花時間金錢去做甚至直講絕對做不起來的話,現在在家的時間他們就會說趕快收起來出去找穩定的工作,感覺我好像做錯事隨時要
    Thumbnail
    不論你現在是年輕還是中壯年,你可以用五年或十年去佈局。 你可能藉由找到自己興趣,或是了解自己的天賦、熱情什麼的,這些東西我過去幾年也熱衷過一陣子,不過我在其中發現自己成為討厭的那種人。 怎麼說呢? 我自己是討厭那種光說不練的人,要他做一件事很難,但是他可以自動的抱怨很多的壞事,就算你本來身邊好、壞事
    Thumbnail
    不需要扛責任的人本來就不用目標,只要遵照任務指示去操作就好。 一個沒有目標的人想要解決「沒目標」的問題,就像已經有錢的人在煩惱有錢怎麼辦? 沒目標很棒啊,誰說一定要有目標? 但你沒目標同時又覺得沒目標是問題,在你心中或許有個矛盾,也就是沒目標很好,但我好像其實是有事情要去解決的。 你或許真的沒有責任
    Thumbnail
    一篇文章、一則金句、一個小觀念大改變,透過文字啟發你的一週,幫助你持續成長,遇見更好的自己。
    Thumbnail
    定期定額買了0050或VTI後,如何讓自己不要去理會股市漲跌?說真的錢投進去後,不想看一下真的需要很大的意志力。是否可提供一些方法? Hi, Li: 首先感謝你觀看這部乏人問津的影片...^^|| 這部影片基本上講的是:投資標的只要正確,其他的事情就讓時間去運作。若採用的是主動選股的策略,我們可能還
    Thumbnail
    前陣子看到有朋友在詢問如何直接在 PPT 上實現類似像上面這張圖那樣半透明的剪影效果,又或是類似像攝影上「重複曝光」那樣的感覺?
    Thumbnail
    接連幾篇文章,淫狐和各位談到在泰國培養老點的這件事。老點這個玩法,對於到泰國玩樂來說算是進階版的玩法。所以,也有一些網友對於這個有些疑問。在這篇文章中,淫狐整理了一下比較多網友提問的問題,在文章中統一回答。