網友問的問題：有關美股公司在AI伺服器液冷佈局的概況（2)

問題：有關R系列功耗看到資訊是比GB200少25%功耗，R系列功耗比較低的話，還有需要用浸沒式嗎？會不會沿用水冷散熱呢？

回答：

我們家分析師大人他去SMCI時有問工程師, 工程師回答的思考邏輯大致是這樣：

舉例來說：假設這世界上你沒有浸沒式液冷這個選項, 氣冷散熱跟水冷相比的優缺點是什麼？

氣冷：價格便宜, 成本較低, 裝載及維修方便, 環保, 不需要太多認證...

但缺點就是最大那個：散熱較差, 造成熱高溫下, 運算效率變慢

但後來大家還是選水冷散熱, 至少目前已逐漸進入到水冷的時代, 但你也許會想那是GB200的TDP比H100多很多....

所以這裡多加幾個考慮的因子要一起考量, 散熱是最重的因子, 因為後面牽涉到運算效率的問題, 但同樣的還有考慮是總成本, 也就是我需要多少的花同樣的散熱設備但哪一個效率可以更好...當然還有環保等因素考量

題外思考：

如果夏天電風扇可就以讓你降溫, 為什麼人類要多花錢裝冷氣？然後裝了冷氣, 之後還要有變頻式冷氣？因為冷氣比電風扇貴, 變頻式冷氣又比非變頻冷氣貴？為什麼大家現在都裝變頻的？

答案應該很容易, 因為人類思考的就是總成本的考量, 不是單一價格的考量

（其實投資理財很多都套用, 包括你買一台EV, 你的總支出考量勝過單一車價...很多例子）

OK, 回到問題討論上：

R系列單一晶片的TDP比GB系列散熱假設降低25%(資料來源是Call詢問的, 目前沒有官方正式數據, 也沒有leak news測試數據, 因為預計2025年Q4進入量產）, 但還是將近1000TDP（有非官方數據透露）, 因此考慮的有幾的變數：

1. 仍然很熱, 如果有更好的解決方案, 可以快速或延長運算效率, 那會選較好的
2. 哪一個總成本較低？（總成本包括：使用年限, 故障維護, 平時保養）
3. 環保因素, 現在歐洲環保標準很高, 包括水資源使用, 這是額外成本 

補充資料：

1. 各散熱方式的主要零組件：

氣冷的主要零組件： 散熱片, 風扇, 散熱膏, 風道, 機箱, 控制器.

水冷主要組件：冷頭, 水泵, 散熱排, 風扇, 冷卻液, 管路, 儲液罐, 接頭和夾具 

浸沒式主要組件：浸沒槽, 冷卻液, 循環泵, 熱交換器, 過濾系統, 控制單元 , 管路和接頭, 密封和保護裝置

氣冷主要成本：散熱片、風扇、散熱膏、機箱。

水冷主要成本：冷頭、水泵、散熱排、風扇、冷卻液、管路、儲液罐、接頭。

浸沒式主要成本：浸沒槽、冷卻液、循環泵、熱交換器、過濾系統、控制單元、管路和接頭、密封裝置。

2. 模型推估的成本：

大人的模型推估出來的（我沒有完整看過他的模型, 這是他告訴我的數據）：

氣冷：總成本約 $670/rack。

水冷：總成本約 $1950/rack。

浸沒式：總成本約 $7700/rack。

3.考慮初期建設成本 ：浸沒式非常高

初期設備成本大約是氣冷系統的2-3倍。（上面的資料可以推算）

4.考慮長期運營效益：

邊際成本遞減, 用越多越划算的概念（跟老黃講的一樣, 這也是科技推動的長期邊際成本逐漸降低的效應）

1. 能源效率：浸沒式的能源效率極高，能效比（PUE）可以低至1.02-1.07，顯著低於氣冷和傳統水冷系統, 數據中心在運行過程中可以顯著節省電力成本​​。
2. 減少水資源使用：浸沒式不需使用水資源，相比傳統水冷系統，這不僅節省了水資源成本，還減少了環境影響。
3. 降低運營成本：浸沒式的運營成本可降低高達95%，因為它能有效地將熱量轉移到冷卻液中，不需要額外的空調設備（如CRAC或CRAH），並能提高冷卻密度，減少對空間的需求。

5.浸沒式其他的優點：

1. 硬體壽命延長

浸沒式能均勻冷卻所有電子元件，減少熱應力對設備的損害，從而延長硬體的使用壽命，浸沒式冷卻環境能保護設備免受灰塵和濕氣的影響提高使用年限​ 。

2. 環境和法規優勢

浸沒式降低了能源和水資源的使用，它能幫助數據中心符合越來越嚴格的環保法規和標準(尤其對環境保護非常機車的歐洲各國），美國能源部和歐盟最近提出更嚴格的HVAC標準，要求數據中心進行成本效益分析並捕捉並利用多餘熱量​ 。

結論：

簡單講就是浸沒式的高效能和低運營成本可以顯著降低數據中心的總成本，並提高其競爭力和環境友好度。

雖然浸沒式液冷系統的初期建設成本較高，但從長期來看，包括總成本、運算效率和環境效益等...一堆的考量，理論上浸沒式液冷系統較其他散熱方式更經濟和可持續的方案，但不是所有都要選擇浸沒式解決方案, 還是要考慮有沒有必要？小公司不會一間小小的機房就用到浸沒式, 需要工程師去計算一堆數據, 找出解決方案, 美股有很多這種解決的工程公司.