股癌 EP622 逐字稿&筆記分享

事前聲明：

本逐字稿為AI自動生成，會有缺漏、錯字，且網站有字數限制故刪除工商、閒聊、QA，敬請見諒

[06:12.400~06:16.020] 那第一個是在差不多一兩天前的時候

[06:16.040~06:17.540] 有一個國外的科技媒體

[06:17.540~06:20.040] WCCF Tech 它報導講說

[06:20.040~06:21.840] 因為記憶體的價格現在沒有回溫

[06:21.840~06:22.920] 而且持續的上漲

[06:22.920~06:25.680] 所以傳言說華碩自己要去投入

[06:25.680~06:27.880] D-RAM產線來做生產

[06:27.880~06:30.420] 那這件事情我們直接講一個結論

[06:30.420~06:32.920] 認為說它真正的機率是極低

[06:32.920~06:34.820] 就是華碩不太可能自己

[06:34.820~06:36.820] 有點像說你為了喝奶去養牛一樣

[06:36.820~06:38.960] 因為去搞這個D-RAM的生產

[06:38.960~06:42.100] 它是完全的另外一邊的 know-how 序言

[06:42.100~06:43.540] 然後外加其實我們都知道說

[06:43.540~06:45.840] 這些記憶體廠商他們過去是非常強的

[06:45.860~06:47.060] 一個景氣循環股

[06:47.060~06:49.900] 所以賺錢的時候可能是非常賺錢

[06:49.900~06:51.560] 那個報價狂漲一本萬利這樣

[06:51.560~06:54.860] 可是如果今天是進入一個循環的向下走起

[06:54.860~06:56.440] 那也是非常困難有很多挑戰

[06:56.440~06:58.000] 那你還要有持續更多的資本

[06:58.000~07:00.600] 去投入你的代數的演進或什麼

[07:00.600~07:02.240] 所以那其實超級複雜的東西

[07:02.240~07:04.540] 所以其實光是這個新聞第一次出來

[07:04.540~07:06.540] 大家看到我們身邊朋友都已經會

[07:06.540~07:09.480] 在心中把它畫上一個 bullshit 的等號

[07:09.480~07:11.720] 就是你不太可能自己去搞一個晶圓廠

[07:11.720~07:13.020] 你比較有可能做的事情是什麼

[07:13.040~07:16.840] 就是你可能去找一些晶圓顆粒廠去採購

[07:16.840~07:19.000] 然後接著你去找模組廠把它拼出來

[07:19.000~07:21.040] 這個可能還有一些可行性

[07:21.040~07:24.140] 那只是在我們的記憶體專家朋友的角度

[07:24.140~07:25.340] 稍微問了一下他們是講說

[07:25.340~07:27.120] 你現在要去買到那種 Channel Grade 的顆粒

[07:27.120~07:28.140] 超級困難

[07:28.140~07:29.680] 這也是我們在過去有跟大家聊到

[07:29.680~07:31.320] 現在這些模組廠他們其實最大的問題

[07:31.320~07:33.220] 是他們的庫存賣光之後很多就要烙賽了

[07:33.220~07:35.020] 因為你低價庫存走出去之後

[07:35.020~07:37.120] 你接下來你要買的也都是高價的東西

[07:37.120~07:38.060] 那你買高價的東西

[07:38.060~07:39.460] 其實他會怕的一件事是說

[07:39.460~07:41.160] 我買一大堆高價的庫存進來

[07:41.160~07:42.620] 然後最後面如果這個價格就反轉

[07:42.620~07:44.220] 或是說拉平要往下走

[07:44.220~07:47.060] 那是不是覺得公司會承擔一個超級大的風險

[07:47.060~07:49.860] 那這個可能是比較在後面一點的事情

[07:49.860~07:51.460] 可是現階段我們知道的東西是

[07:51.460~07:53.060] 有很多的模組廠或是 Controller 廠

[07:53.060~07:54.900] 它是直接飛到韓國去

[07:54.900~07:57.740] 去找這些財閥大拜拜試試活動

[07:57.740~07:59.340] 看可不可以你多給我一些東西

[07:59.340~08:00.880] 這個是正在進行式

[08:00.880~08:02.180] 然後一些交換條件是怎麼樣

[08:02.180~08:04.140] 就我那個 Controller 可能在裡面投片

[08:04.140~08:05.240] 那你就給我顆粒

[08:05.240~08:07.120] 就用這樣去做交換

[08:07.120~08:08.440] 那這樣才有東西可以賣

[08:08.440~08:09.880] 所以以華碩的角度

[08:09.880~08:11.880] 他要去拿到這些顆粒

[08:11.880~08:13.220] 其實本身也是不容易的事情

[08:13.220~08:14.620] 所以另外一個我們剛剛講的那種

[08:14.620~08:15.980] 比較有可能的劇本

[08:15.980~08:17.820] 就是他自己去拿顆粒

[08:17.820~08:20.020] 然後跟模組廠把它拼在一起

[08:20.020~08:21.960] 可能不知道貼自己的牌去做生產

[08:21.960~08:24.320] 這個我們都覺得可行性是不太高

[08:24.320~08:25.600] 所以他比較偏向是

[08:25.600~08:27.000] 因為目前記憶體很缺

[08:27.000~08:27.900] 所以我在猜啦

[08:27.900~08:29.960] 就是他們在內部可能有開一些會

[08:29.960~08:31.460] 然後講說我們有拿幾條路線

[08:31.460~08:33.040] 然後第一條可能就是最誇張的

[08:33.040~08:34.500] 我們直接去搞一個DRAM廠

[08:34.500~08:36.040] 即便是那種極度不可能

[08:36.040~08:39.240] 那一個可能相對有可能跟產物相關的就是

[08:39.240~08:40.640] 他有沒有可能去投資別人

[08:40.640~08:42.240] 然後換取穩定的供貨

[08:42.240~08:43.400] 這個可能還有一點機會

[08:43.400~08:45.540] 可是也是蠻那種wild shot

[08:45.540~08:47.240] 就是我覺得機率也是很低

[08:47.240~08:48.280] 那比較有可能就是說

[08:48.280~08:50.220] 他去做一些大量的採購

[08:50.220~08:52.180] 然後接著去找模組廠把它兜出來

[08:52.180~08:53.720] 這個可能是有一些機會的

[08:53.720~08:55.560] 但我相信這些討論應該是

[08:55.560~08:57.560] 就是公司內部都有去run過

[08:57.560~08:58.360] 都有去評估過

[08:58.360~09:00.520] 那有些可能就被流出

[09:00.520~09:01.460] 然後跑到記者那邊

[09:01.460~09:02.660] 所以就變成是一個報導

[09:02.660~09:04.060] 我們相信是這樣子

[09:04.060~09:05.760] 那稍微簡單的去評論一下

[09:05.760~09:07.560] 目前記憶體的市況就是漲

[09:07.560~09:08.560] 就是繼續漲

[09:08.560~09:10.360] 目前我們看到的狀況就是繼續漲

[09:10.380~09:13.160] 那在這個D4跟D5的部分

[09:13.160~09:15.360] 其實都還是維持一個非常誇張的價格

[09:15.360~09:17.160] 那D4甚至是已經反超D5

[09:17.160~09:18.600] 然後持續的在向上

[09:18.600~09:20.860] 那我們目前看得到的一個價格漲勢

[09:20.860~09:22.600] 預計在明年的

[09:22.600~09:24.000] 本來講說大概到上半

[09:24.000~09:26.100] 目前是已經可以投射到全年

[09:26.100~09:28.740] 就是從記憶體原廠那邊所獲得一些資料

[09:28.740~09:31.340] 預計全年都會是上漲的一個趨勢

[09:31.340~09:32.780] 那本來講說可能是逐季漲

[09:32.780~09:34.940] 然後現在有一個比較新的說法講說

[09:34.940~09:36.080] 應該是會逐月漲

[09:36.080~09:38.480] 就逐月可能都有一個10幾%的一個漲幅

[09:38.480~09:39.780] 然後持續的下去

[09:39.780~09:41.380] 也就是說你每個月要去跟他拉的話

[09:41.380~09:43.940] 他就會去額外的再提高這個報價

[09:43.940~09:46.280] 那這就是目前在記憶體這邊

[09:46.280~09:48.880] 非常供需緊俏的一個狀況之下

[09:48.880~09:49.880] 所發生的情形

[09:49.880~09:50.720] 所以可能因為這樣子

[09:50.720~09:52.020] 就有各自跟他討論出來

[09:52.020~09:54.520] 他們到底要怎麼樣去解決這個記憶體荒

[09:54.520~09:55.860] 那在我的角度看來

[09:55.860~09:58.560] 這個應該是很難去透過某種

[09:58.560~10:00.060] 就來說某些人去擴產

[10:00.060~10:02.220] 或者某些人去什麼投資怎麼樣

[10:02.220~10:04.100] 那個都是有點像是說什麼

[10:04.100~10:06.540] 遠水救不了近火這樣的一個說法

[10:06.540~10:07.800] 我覺得不太可能

[10:07.820~10:10.120] 所以只能夠等他稍微的塵埃落定

[10:10.120~10:11.360] 那這塵埃落定會多久

[10:11.360~10:12.460] 我覺得這波其實老實講

[10:12.460~10:13.960] 也有超出我自己的一個想像

[10:13.960~10:16.640] 因為其實CSP它的採購力道實在太大了

[10:16.640~10:18.200] 然後這個記憶體

[10:18.200~10:20.340] 在他們的Bomb Cost裡面佔比極低

[10:20.340~10:21.640] 就那種個位數超小的

[10:21.640~10:23.380] 所以即便漲成這樣

[10:23.380~10:25.840] 他們去買他們還是沒有什麼太大的壓力

[10:25.840~10:27.440] 因為像說你今天去買一台車

[10:27.440~10:29.340] 那這台車我告訴你說裡面的某些晶片

[10:29.340~10:31.720] 像是已經翻了什麼三倍五倍或是十倍

[10:31.720~10:32.740] 你其實感覺不出來

[10:32.740~10:33.620] 因為那一個晶片

[10:33.620~10:36.180] 可能在整個車子的Bomb Cost裡面超低的

[10:36.200~10:37.900] 你根本不會在意晶片漲多少錢

[10:37.900~10:39.480] 就在整個價格看起來都還好

[10:39.480~10:41.440] 所以它連類似這樣的一個邏輯

[10:41.440~10:43.140] 就是整個伺服器的Rack

[10:43.140~10:44.840] 可能是超高的一筆錢

[10:44.840~10:46.920] 那這個記憶體就算是翻了好幾倍

[10:46.920~10:49.520] 可是對他們來講都還是小比例的支出

[10:49.520~10:50.680] 所以就會覺得說

[10:50.680~10:52.080] 有辦法吞下去就繼續買

[10:52.080~10:53.680] 那當然像這樣子持續漲價

[10:53.680~10:56.020] 在消費性這邊就會造成一些毀滅性的打擊

[10:56.020~10:57.360] 這個是絕對會發生的

[10:57.360~10:59.320] 那特別是就要說以手機來講

[10:59.320~11:00.660] 手機有分高階跟低階

[11:00.660~11:03.260] 那高階的狀況就跟我們剛剛講的車子的狀況一樣

[11:03.260~11:05.260] 就是說它整體的價格是比較高

[11:05.280~11:08.520] 所以可能算起來記憶體佔Bomb Cost是比較低一點

[11:08.520~11:10.480] 那可能會有反應到漲價這一塊

[11:10.480~11:11.520] 可是就不會這麼多

[11:11.520~11:12.860] 可是如果今天是中低的

[11:12.860~11:14.260] 那它的記憶體假設漲很多

[11:14.260~11:15.520] 因為它佔Bomb Cost是高的

[11:15.520~11:18.960] 所以就會變成說那個價格可能就會上升是更多的

[11:18.960~11:22.260] 那也因此就是有機會會產生一些

[11:22.260~11:24.340] 在消費性這邊的需求的問題

[11:24.340~11:25.300] 就是說價格太貴

[11:25.300~11:27.700] 然後大家就選擇延後換機或是不換機

[11:27.700~11:30.340] 或是我們連在DIY市場所看到的

[11:30.340~11:32.200] 就有一些魔改的東西開始出來

[11:32.200~11:34.780] 因為大家知道說這個記憶體的價格這麼貴

[11:34.800~11:36.660] 那就只好去換個方向

[11:36.660~11:38.540] 有些說可能那種拆舊機子的出來

[11:38.540~11:39.940] 或是怎麼樣去拼一拼

[11:39.940~11:42.600] 然後讓大家還是可以用相對合理的價格買到

[11:42.600~11:43.980] 也就是說在消費級這邊

[11:43.980~11:46.880] 他們的一個價格敏感度是遠高於伺服器這邊

[11:46.880~11:48.820] 所以這個價格影響最大

[11:48.820~11:50.080] 就是在消費性的需求這邊

[11:50.080~11:52.480] 可是在2B這一端企業級

[11:52.480~11:53.960] 我們目前是會認為說

[11:53.960~11:56.620] 就算這個價格維持在這邊或是持續的上漲

[11:56.620~11:58.920] 可能對需求的影響都是有限

[11:58.920~12:01.500] 所以只能夠說受害的是那些DIY

[12:01.500~12:02.860] 或是一些什麼品牌機

[12:02.860~12:04.760] 自主機那一種以及手機

[12:04.980~12:07.780] 這個也是我們對氣氛仔的一個小福利

[12:07.780~12:09.720] 在記憶體剛漲的時候就提醒大家說

[12:09.720~12:10.620] 趕快去組電腦

[12:10.620~12:11.760] 你再不組電腦

[12:11.760~12:12.620] 電腦就變超貴

[12:12.620~12:14.020] 你各位現在要趕快去看一下

[12:14.020~12:16.160] 現在的記憶體的價格變多少錢

[12:16.160~12:17.920] 後面還有更多東西要漲價

[12:17.920~12:20.500] 我們最新了解到其實不只記憶體漲價

[12:20.500~12:22.560] 包含說像是顯示卡裡面也有用到記憶體

[12:22.560~12:23.500] 這個東西也要漲價

[12:23.500~12:25.700] 最新連CPU都說要漲價了

[12:25.700~12:26.940] CPU要漲價的新聞

[12:26.940~12:28.440] 可能還沒有鋪天蓋地的丟出來

[12:28.440~12:31.080] 可是等到差不多明年大家就會開始注意到

[12:31.080~12:33.200] 主流的大的CPU supplier

[12:33.220~12:35.080] 他們也會出現一些漲價的狀態

[12:35.080~12:37.260] 所以我覺得很有趣

[12:37.260~12:39.320] 就是大家去看一些通膨數據覺得說

[12:39.320~12:40.360] 應該沒有什麼通膨

[12:40.360~12:41.160] 現在通膨看起來還好

[12:41.160~12:42.720] 可是在我們的角度看來

[12:42.720~12:44.600] 所有東西都在漲價

[12:44.600~12:46.340] 而且另外一個很明顯的是

[12:46.340~12:48.360] 你看一下原物料貴金屬的價格

[12:48.360~12:50.100] 貴金屬全部都超貴

[12:50.100~12:51.500] 那個並不是說什麼這些貴金屬

[12:51.500~12:52.940] 有什麼擴大應用超厲害

[12:52.940~12:54.040] 然後可以漲成那樣

[12:54.040~12:55.640] 我覺得那些貴金屬的價格上去

[12:55.640~12:57.740] 其實某程度就是已經先去提早

[12:57.740~13:00.780] 在pricing大家對於未來通膨的一個預期

[13:00.780~13:02.540] 所以在接下來的一兩年

[13:02.560~13:04.460] 應該會有一些蠻精彩的狀況出來

[13:04.460~13:05.860] 這邊稍微簡單跟大家分享一下

[13:05.860~13:06.500] 就是記憶體

[13:06.500~13:09.560] 然後跟記憶體所影響到的一些市況

[13:09.560~13:10.860] 好那接下來我們來討論另外一個

[13:10.860~13:12.060] 本週重大的話題

[13:12.060~13:13.640] 就是NVDA花了20億

[13:13.640~13:16.440] 有200億美元去買了GROQ的團隊

[13:16.440~13:19.100] 跟他的knowhow以及IP相關的東西

[13:19.100~13:20.380] 那這個有點像是說

[13:20.380~13:22.180] 那時候微軟跑去買Inflection AI

[13:22.180~13:22.640] 類似

[13:22.640~13:24.780] 或是說你也可以講是Google去買Windsurf

[13:24.780~13:26.380] 只是Windsurf那個比較有點類似

[13:26.380~13:27.720] 是比較不好的劇本

[13:27.720~13:29.480] 因為他直接把人挖走

[13:29.480~13:30.580] 然後留下一堆工程師

[13:30.580~13:32.500] 那些工程師被promise了一個美好未來

[13:32.500~13:33.540] 然後在外面什麼小都沒了

[13:33.540~13:34.740] 剩下一個空殼

[13:34.740~13:37.600] 那這個GROQ然後跟Inflection AI

[13:37.600~13:39.180] 可能是比較良性的

[13:39.180~13:41.240] 雖然基本上也是把整家公司給挖光

[13:41.240~13:43.380] 可是可能說一些投資者

[13:43.380~13:44.840] 或是一些那種債務人士

[13:44.840~13:45.840] 他們都還是有辦法拿到

[13:45.840~13:46.940] 他們該拿到的東西

[13:46.940~13:48.480] 有一點些微微差距

[13:48.480~13:50.020] 但本質上都是差不多

[13:50.020~13:53.720] 反正就是說在這個時代要去加強AI

[13:53.720~13:54.920] 好像在這些科技巨頭

[13:54.920~13:56.320] 他們的腦袋裡面都有一個共識

[13:56.320~13:57.420] 我們要的是人

[13:57.420~13:58.300] 人是最重要

[13:58.300~13:59.660] 所以我直接把人買走就好

[13:59.680~14:00.540] 我把人買走

[14:00.540~14:02.720] 那個公司留一個空殼在那邊

[14:02.720~14:05.020] 根本就是也是沒什麼用了

[14:05.020~14:06.380] 所以我只要把人抽走就沒有問題

[14:06.380~14:08.980] 這跟過去就是我們所熟悉的

[14:08.980~14:09.580] 你要去買

[14:09.580~14:10.720] 你會買下整家公司

[14:10.720~14:11.960] 跟他所提供的服務

[14:11.960~14:13.060] 有很大的一個差距

[14:13.060~14:15.020] 所以可以從這邊就看得出來說

[14:15.020~14:16.520] 科技巨頭他們現在的一個觀念

[14:16.520~14:17.420] 就是認為說買人

[14:17.420~14:19.260] 可能是最重要的一個東西

[14:19.260~14:20.520] 所以AI時代最重要的東西

[14:20.520~14:21.520] 還是在人身上

[14:21.520~14:23.560] 這個有點諷刺有點好笑

[14:23.560~14:26.600] 因為本來很多人在他們的腦中的認知裡面是

[14:26.600~14:28.100] AI時代人就是越來越不重要

[14:28.100~14:29.360] 因為AI是最強的

[14:29.360~14:31.200] 但AI還是要有人去做開發

[14:31.200~14:33.400] 所以人其實還是非常的重要

[14:33.400~14:35.280] 那為什麼NVDA會去買GROQ

[14:35.280~14:37.340] 當然這個大家都只能夠用猜的

[14:37.340~14:39.280] 那有幾個簡單的劇本

[14:39.280~14:41.780] 第一個就是它其實單純的想買人

[14:41.780~14:43.720] 因為創辦人Jonathan Ross

[14:43.720~14:45.520] 他以前也是TPU的開發者之一

[14:45.520~14:47.880] 所以NVDA算盤可能只是單純的

[14:47.880~14:49.160] 我把這個人收進來

[14:49.160~14:50.160] 跟他的團隊收進來

[14:50.160~14:51.260] 那我就少一個對手

[14:51.260~14:52.480] 那這些人都要幫我做事的話

[14:52.480~14:55.320] 或許我們可以去想出更多的可行性

[14:55.320~14:58.320] 這是一個最簡單的買人的想法

[14:58.360~15:00.960] 那第二個就是可能是有一些綜效的想法

[15:00.960~15:02.260] 就包含說可能它的SRAM

[15:02.260~15:04.460] 可以整合進去NVDA的機櫃裡面

[15:04.460~15:06.160] 因為我們知道說現在在

[15:06.160~15:08.200] 今年的跟明年的討論

[15:08.200~15:09.500] 大家已經慢慢的從

[15:09.500~15:10.940] 過往我們都在講說TRAINING

[15:10.940~15:12.800] 怎麼樣去把這個HBM疊到更高

[15:12.800~15:14.400] 然後讓TRAINING的效率更好

[15:14.400~15:15.940] 但現在大家討論的很多東西

[15:15.940~15:17.440] 其實是聚焦在推論

[15:17.440~15:18.740] 包含像我們之前跟大家聊到的

[15:18.740~15:20.940] NVDA的CPX

[15:20.940~15:23.340] 這個是用在Prefill(预填充)的一個晶片

[15:23.340~15:24.840] 它使用的是GDDR

[15:24.840~15:25.780] 大量的GDDR

[15:25.780~15:27.220] 那它的目標就是要讓它可以

[15:27.220~15:29.180] 快速的去讀你的前後文

[15:29.180~15:31.320] 讓它在推論上面是更有效率

[15:31.320~15:32.660] 那我們知道在Prefill之外

[15:32.660~15:34.500] 還有另外一個環節就是DECODE

[15:34.500~15:36.020] 那DECODE的話

[15:36.020~15:38.060] 像SRAM就是一個非常好用的東西

[15:38.060~15:39.900] 因為它在寫入的速度是很快的

[15:39.900~15:41.500] 所以有可能是因為這樣子

[15:41.500~15:43.360] 就是我們前面已經看到一個

[15:43.360~15:44.560] CPX這樣的產品

[15:44.560~15:46.300] 那後面就是有可能會在

[15:46.300~15:47.300] 結合GROK之後

[15:47.300~15:51.000] 然後推出某種有用到SRAM的一種

[15:51.000~15:51.800] DECODE解放

[15:51.800~15:53.380] 所以讓它Prefill跟DECODE

[15:53.380~15:54.820] 整體的效率表現是更好

[15:54.840~15:57.580] 然後用這樣子去技壓一些ASIC的Player

[15:57.580~15:59.660] 這個是也是有機會的

[15:59.660~16:00.860] 但大家都只能夠用猜

[16:00.860~16:03.860] 我們不知道到底老黃的算盤是怎麼樣

[16:03.860~16:06.060] 那目前在坊間就開始出現一些討論

[16:06.060~16:07.520] 其實就跟之前講說

[16:07.520~16:09.660] TPU因為它開始

[16:09.660~16:10.800] 怎麼講 展露鋒芒

[16:10.800~16:11.960] 所以很多人講說

[16:11.960~16:14.200] TPU會擊敗GPGPU的NVDA

[16:14.200~16:15.340] 那我們當時在節目跟大家講說

[16:15.340~16:17.600] 這個其實是一個無稽之談

[16:17.600~16:19.200] 但這類的討論其實在市場上

[16:19.200~16:20.480] 蠻容易引起一些共鳴

[16:20.480~16:22.800] 因為我覺得它是刻在人性裡面的

[16:22.820~16:23.360] 就其他都是人

[16:23.360~16:25.660] 它是沒有辦法處理光譜的

[16:25.660~16:26.960] 它是沒有辦法處理灰階的

[16:26.960~16:28.700] 我講的是說就它腦袋它的設計

[16:28.700~16:29.960] 我也是長大之後才知道說

[16:29.960~16:32.840] 原來這麼多人它看事情只有黑色跟白色

[16:32.840~16:34.840] 它不知道每個東西都是有可能有彈性

[16:34.840~16:37.700] 它不知道說它可以是一個win-win solution之類的

[16:37.700~16:40.700] 它是有可能每個人都是在裡面

[16:40.700~16:41.640] 有它表現的機會

[16:41.640~16:43.080] 它就認為說反正一定有一個是什麼

[16:43.080~16:43.980] 最頂的

[16:43.980~16:44.840] 就很多人講說

[16:44.840~16:45.780] 這個是最頂的

[16:45.780~16:46.740] 這個是最屌的

[16:46.740~16:47.540] 所以因為這樣

[16:47.540~16:49.080] 它就是一定要有一個東西

[16:49.080~16:50.580] 既分高下也絕生死

[16:50.580~16:52.120] 所以當TPU可能聲勢起來

[16:52.140~16:53.340] 他們就跟你講說

[16:53.340~16:54.880] NVDA的GPGPU不行

[16:54.880~16:56.180] 但這其實超奇怪的

[16:56.180~16:58.980] 因為GPGPU還是有它厲害的地方

[16:58.980~17:00.620] 包含就是在泛用性的方面

[17:00.620~17:01.820] 還有成本的考量上

[17:01.820~17:03.780] 就如果說我們今天可以

[17:03.780~17:05.920] 在改動很多的演算法

[17:05.920~17:07.800] 或是說甚至AI有一些新的

[17:07.800~17:09.800] root出現的一個狀況之下

[17:09.800~17:11.900] 要去做到最有效率的切入的話

[17:11.900~17:13.400] 那我們還是會去選擇

[17:13.400~17:14.900] NVDA的一個GPGPU

[17:14.900~17:16.600] 那今天如果說路線是很確定的話

[17:16.600~17:19.500] 那就有可能會去用ASIC來降低一些成本

[17:19.500~17:21.200] 那很多人看ASIC的成本有問題

[17:21.220~17:23.460] 也是因為它是用Google自己的成本去看

[17:23.460~17:24.020] 那沒有辦法

[17:24.020~17:25.860] 那是有點像補貼的形式下去做的

[17:25.860~17:27.560] 所以那成本自然是會比較低

[17:27.560~17:29.060] 只是這個東西你去跟一些人講

[17:29.060~17:29.800] 他們是聽不懂的

[17:29.800~17:31.100] 因為他們就是一定要告訴我說

[17:31.100~17:32.160] 他媽的現在誰最頂

[17:32.160~17:33.060] 誰的股價漲最多

[17:33.060~17:33.940] 那他一定是最頂的

[17:33.940~17:35.500] 他不知道說就有些東西他只在休息

[17:35.500~17:37.640] 休息完之後可能就會再繼續的漲

[17:37.640~17:39.200] 那你發現說就這些人他們蠻多

[17:39.200~17:41.340] 有可能就是最近在講說

[17:41.340~17:43.640] 所以S-RAM就會去擊敗HBM這樣的人

[17:43.640~17:45.240] 因為他們就是一定要分高下

[17:45.240~17:46.480] 但其實這類的討論

[17:46.480~17:48.520] 老實講在2023、2024的時候就出現過

[17:48.520~17:50.080] 因為那時候GROQ就是跑出來講說

[17:50.100~17:52.560] 它有一個東西叫做LPU

[17:52.560~17:54.240] 就是Language Process Unit

[17:54.240~17:56.540] 那這個東西因為它使用了S-RAM

[17:56.540~17:59.340] 所以那時候中國就是炒過一波S-RAM概念股

[17:59.340~18:00.640] 雖然這個東西你現在回頭看

[18:00.640~18:01.940] 你也覺得超莫名其妙

[18:01.940~18:04.140] 因為SRAM它本身是on chip

[18:04.140~18:05.580] 就是說像你只要到處看到

[18:05.580~18:09.160] 它是本身就已經是跟著晶片一起去刻出來的

[18:09.160~18:11.820] 所以它不是像一般大家想像是在外面的Fab

[18:11.820~18:13.620] 然後把它做完之後再拿來做整合

[18:13.620~18:14.920] 它不是它直接就在裡面

[18:14.920~18:17.800] 所以你去炒一些S-RAM概念股本身是很怪

[18:17.820~18:20.220] 然後再來就是S-RAM它的成本是很高的

[18:20.220~18:21.960] 就是它去處理一個bit

[18:21.960~18:24.720] 可能是需要六個Transistor

[18:24.720~18:27.360] 那如果今天是在講說一般的DRAM的話

[18:27.360~18:28.560] 它是1T1C

[18:28.560~18:30.800] 就是一個Transistor再加上一個Capacitor

[18:30.800~18:31.840] 一個電容

[18:31.840~18:34.960] 那所以因為這樣子的一個構造上的差別

[18:34.960~18:37.000] 導致S-RAM它需要的空間是很大的

[18:37.000~18:39.140] 所以它也比較難以去做萎縮

[18:39.140~18:41.740] 所以導致一個非常昂貴的晶片面積上面

[18:41.740~18:42.840] 因為它就是占空間

[18:42.840~18:45.080] 所以它整體就是會比較貴一點

[18:45.080~18:46.140] 它就是會比較貴

[18:46.160~18:48.520] 所以像之前GROQ它如果要去做訓練的話

[18:48.520~18:49.760] 你一次需要超多顆

[18:49.760~18:51.060] 因為它本身的容量是很低的

[18:51.060~18:52.340] 所以它就要一次放一大堆

[18:52.340~18:54.260] 才有辦法去做training

[18:54.260~18:55.560] 那如果今天去做influence的話

[18:55.560~18:56.260] 效率就非常好

[18:56.260~18:57.500] 它的實際的做法就是說

[18:57.500~18:59.380] 把每個參數拆一拆

[18:59.380~19:01.540] 然後放在這些記憶體裡面

[19:01.540~19:02.340] 然後這樣去跑的話

[19:02.340~19:05.280] 就可以是以非常快的速度去做呈現

[19:05.280~19:06.740] 所以它的優勢是在這裡

[19:06.740~19:07.680] 那你直接把它拉出來

[19:07.680~19:09.620] 當成是一個炒股的項目的話

[19:09.620~19:10.280] 就很奇怪

[19:10.280~19:11.880] 就是你要講說S-RAM概念股

[19:11.880~19:12.980] 那可能就台積電

[19:12.980~19:13.880] 然後類似這樣

[19:13.880~19:15.080] 但我還是會覺得說

[19:15.100~19:16.760] 就是這並不是一個

[19:16.760~19:19.560] S-RAM要去擊敗HBM這麼簡單的事情

[19:19.560~19:20.640] 或是像之前大家講什麼

[19:20.640~19:22.800] TPU要去擊敗GPGPU

[19:22.800~19:23.940] 一定不是這樣去演的

[19:23.940~19:26.400] 因為就是各有各的所長

[19:26.400~19:27.640] 各有各的發揮空間

[19:27.640~19:29.780] S-RAM可能是在Decode的部分上面

[19:29.780~19:31.920] 有一些精彩的表現機會

[19:31.920~19:33.240] 或甚至是我自己的想像是

[19:33.240~19:34.680] 把它放在一些EDGE-Device

[19:34.680~19:35.520] 可能是有機會

[19:35.520~19:37.580] 可是你說它在training這邊

[19:37.580~19:39.980] 你要用它去取代所謂的HBM的話

[19:39.980~19:41.360] 那個成本是太貴的

[19:41.360~19:43.560] 所以應該是沒有人會去做這樣子的事情

[19:43.560~19:44.660] 就是在不同的用途上

[19:44.700~19:47.500] 有不同的產品的實用空間

[19:47.500~19:49.540] 你可以這樣去做一個想像

[19:49.540~19:50.540] 那只是這個事件

[19:50.540~19:52.880] 我會把它做進一步的延伸

[19:52.880~19:54.820] 那以下這個延伸就比較偏向是

[19:54.820~19:56.720] 我們那種市場派的角度去講的

[19:56.720~19:58.520] 所以一些專業人士聽到

[19:58.520~19:59.480] 有可能會皺眉頭

[19:59.480~20:00.180] 但是我跟你講

[20:00.180~20:01.080] 我們很多時候

[20:01.080~20:02.320] 像我跟我朋友講一些東西

[20:02.320~20:04.420] 我說待會那個東西可能會跟著拉

[20:04.420~20:05.220] 然後我朋友說為什麼

[20:05.220~20:07.120] 我說因為他講到某個關鍵字

[20:07.120~20:07.900] 然後那個公司

[20:07.900~20:09.260] 他平常有在吹那個關鍵字

[20:09.260~20:10.320] 所以大家只要一Google

[20:10.320~20:11.720] 就會找到那個公司

[20:11.720~20:13.300] 那他看到A公司漲起來

[20:13.300~20:14.440] 他Google發現B公司

[20:14.440~20:15.680] 他就馬上跑去買B公司

[20:15.680~20:16.920] 即便B公司是錯的

[20:16.920~20:18.920] 可能最後面漲得比A公司還來得多

[20:18.920~20:20.180] 這就是實際上在市場上

[20:20.180~20:21.660] 最常看到的一個劇本

[20:21.660~20:22.280] 那所以呢

[20:22.280~20:23.260] 當然有些人可能會去找

[20:23.260~20:24.620] 所謂的SRAM概念股

[20:24.620~20:25.200] 或是其他

[20:25.200~20:26.560] 但我自己的猜想是

[20:26.560~20:27.960] 我們先去拆解一下

[20:27.960~20:29.460] NVDA這個行為本身

[20:29.460~20:30.860] 宣示了什麼事情

[20:30.860~20:33.700] NVDA花200億美元去買了GROQ團隊

[20:33.700~20:34.740] 它的目的是什麼

[20:34.740~20:35.640] 我們可以視為說

[20:35.640~20:38.800] 它是一個想要去打破記憶體牆的嘗試

[20:38.800~20:40.440] 那什麼叫做打破記憶體牆呢

[20:40.440~20:41.400] 因為我們知道說

[20:41.400~20:42.140] 在AI時代

[20:42.140~20:43.880] 記憶體是一個

[20:43.880~20:45.820] 非常卓越地位的東西

[20:45.820~20:47.420] 今天如果是在訓練方面的話

[20:47.420~20:49.880] 你需要很大的容量去做存儲

[20:49.880~20:51.120] 去跑那個KVcash

[20:51.120~20:52.060] 然後再來就是

[20:52.060~20:53.260] 在推論方面的話

[20:53.260~20:54.920] 那你可能就是要比拼的是速度

[20:54.920~20:56.260] 效率怎麼樣可以更快

[20:56.260~20:58.300] 所以記憶體更強大

[20:58.300~20:59.060] 更快

[20:59.060~20:59.960] 容量更大

[20:59.960~21:02.260] 就是一個大家想要努力的一個方向

[21:02.260~21:04.940] 那更進一步是希望可以把這個

[21:04.940~21:06.500] 記憶體基本上是

[21:06.500~21:07.400] 它如果可以

[21:07.400~21:09.500] 本身就是運算源的話是最好

[21:09.500~21:11.780] 也就是我們過往很常聽到的一個概念

[21:11.780~21:13.180] In-memory computing

[21:13.180~21:16.120] 我直接把computer做在記憶體裡面

[21:16.120~21:17.520] 我就不用說跑一跑去拿資料

[21:17.520~21:18.620] 你可以做一個非常簡單的想像

[21:18.620~21:20.660] 就今天有一個廚師在那邊做飯

[21:20.660~21:22.760] 腦中心想一個廚師在做飯

[21:22.760~21:24.600] 那隔壁有很多的原料

[21:24.600~21:26.500] 那它可以直接伸手就拿到的話

[21:26.500~21:27.560] 那它的速度就很快

[21:27.560~21:28.760] 那如果說今天它的原料

[21:28.760~21:30.460] 是要走到後面的冰櫃去拿

[21:30.460~21:33.000] 或甚至是走到隔壁的庫房去拿

[21:33.000~21:34.340] 那是不是速度就會變慢

[21:34.340~21:36.440] 那這其實跟電腦運作的邏輯一樣

[21:36.440~21:38.600] 就是東西是放在硬體裡面

[21:38.600~21:41.080] 那要的時候就把它拿到敵人去做處理

[21:41.080~21:43.140] 就比較快可以直接去接到

[21:43.140~21:44.680] 電腦的CPU GPU這樣子

[21:44.680~21:46.180] 所以因為那是說

[21:46.180~21:47.580] 就是我們要把存儲的東西

[21:47.580~21:49.920] 盡可能的靠近處理的地方

[21:49.920~21:51.760] 那這樣就會有更好的一個效率

[21:51.760~21:54.500] 那於是事實上就有各種的東西跑出來

[21:54.500~21:57.000] 那像HBM大家已經是非常熟悉了

[21:57.000~21:59.060] 就是在過去AI時代的一個主秀

[21:59.060~22:01.560] 訓練的一個核心將才

[22:01.560~22:02.800] 我們就是一定要有HBM

[22:02.800~22:04.760] 才可以去跑好AI的訓練

[22:04.760~22:07.340] 那後面就開始有越來越多的酷東西跑出來

[22:07.340~22:09.180] 包含像它最新的HBF

[22:09.180~22:11.680] 這個就是可能後面Send Disk會做的東西

[22:11.680~22:13.580] 那一樣就是要讓這個記憶體

[22:13.580~22:14.980] 可以跑得更有效率

[22:14.980~22:17.180] 那包含像CPX我們看到的GDDR

[22:17.180~22:19.820] 這個GDDR它可能不一定是超級快的一個記憶體

[22:19.820~22:21.120] 可是因為它容量夠大

[22:21.120~22:22.660] 那拿來做prefile審視

[22:22.660~22:24.220] 所以就注意到說在記憶體方面

[22:24.220~22:25.860] 大家有各式各樣新的玩法

[22:25.860~22:28.400] 那就只是為了要讓這個整個AI的

[22:28.400~22:30.000] 不管是訓練或是推論的流程

[22:30.000~22:31.460] 跑得更加的順暢

[22:31.460~22:32.700] 那In-memory computing

[22:32.700~22:34.960] 可能是一個比較遠的一個概念

[22:34.960~22:35.940] 但是High bandwidth

[22:35.940~22:37.160] 大家都已經非常熟悉了

[22:37.160~22:38.340] Low Latency

[22:38.360~22:39.960] 或是說怎麼樣在Inference裡面

[22:39.960~22:40.900] 去做更多的應用

[22:40.900~22:41.840] 要Beyond HBM

[22:41.840~22:44.300] 在HBM之後有沒有更多新的東西

[22:44.300~22:46.800] 那包含說其實在我們的上一集的Q&A

[22:46.800~22:48.180] 那個聽眾就跟通靈一樣

[22:48.180~22:49.980] 因為它那個是發生在

[22:49.980~22:51.880] 這個收購事件之前

[22:51.880~22:53.120] 他就已經留下這個留言

[22:53.120~22:54.780] 他突然間跑來問我說

[22:54.780~22:57.020] 我覺得就是某家公司的VHM

[22:57.020~22:58.420] 跟Wafer on Wafer怎麼樣

[22:58.420~22:59.560] 其實Wafer on Wafer

[22:59.560~23:01.880] 這個技術不是只是那一家公司有在做

[23:01.880~23:03.800] 像什麼TSM三星也都有類似的東西

[23:03.800~23:05.360] Wafer on Wafer它的概念是怎麼樣

[23:05.360~23:06.920] 就是一個3D的一直整合

[23:06.940~23:08.440] 就是它下面是運算單元

[23:08.440~23:11.240] 然後直接把記憶體的Wafer就蓋在上面

[23:11.240~23:12.040] 所以你可以想像成說

[23:12.040~23:13.620] HBM它可能有1024個管子

[23:13.620~23:14.880] 讓它快速的去做傳輸

[23:14.880~23:15.920] 可是它比不過

[23:15.920~23:17.080] 我直接把兩個Wafer疊在一起

[23:17.080~23:18.520] 那是等於是無限個管子

[23:18.520~23:20.360] 我傳輸的速度就可以拉得更快

[23:20.360~23:21.320] 那這當然會放Wafer

[23:21.320~23:22.860] 有很多需要去解決的東西

[23:22.860~23:23.860] 甚至在散熱這邊

[23:23.860~23:25.260] 也是有要去討論的一些空間

[23:25.260~23:26.720] 但是有可能就是

[23:26.720~23:27.600] 在這個事件之後

[23:27.600~23:29.160] 因為大家如果去認真的剖析說

[23:29.160~23:30.000] 老黃為什麼要買這個

[23:30.000~23:31.060] 除了說他是買人之外

[23:31.060~23:31.940] 另外一個就是

[23:31.940~23:32.900] 他就是想要去思考

[23:32.900~23:34.100] 怎麼樣打破記憶體牆

[23:34.120~23:36.360] 那於是所有的解方都會被翻出來

[23:36.360~23:37.860] 所以包含這個Wafer

[23:37.860~23:39.100] Very high bandwidth memory

[23:39.100~23:40.020] 然後或者是

[23:40.020~23:41.660] 像華邦店它有一個3D Cube

[23:41.660~23:42.860] 這個我們過去也跟大家聊到

[23:42.860~23:43.760] 那這3D Cube

[23:43.760~23:46.540] 它其實是想要做進去L3的快取

[23:46.540~23:48.440] 那這個LLC快取

[23:48.440~23:49.940] 你本身也可以把它視為說

[23:49.940~23:51.500] 反正就是要去加速記憶體

[23:51.500~23:54.100] 在這個運算方面的一個協作

[23:54.100~23:55.340] 所以它也可以視為是

[23:55.340~23:57.380] 想要去打破記憶體牆的某一種常識

[23:57.380~23:58.880] 雖然嚴格上來定義

[23:58.880~23:59.820] 我有把它視為說

[23:59.820~24:02.120] 它可能是一個比較低配版的HBM

[24:02.120~24:03.680] 可是它是類似的東西

[24:03.700~24:05.000] 所以在接下來的一陣子

[24:05.000~24:05.660] 我自己的猜想

[24:05.660~24:07.540] 就如果這個新聞有持續去燒

[24:07.540~24:10.000] 或是老黃這邊有去做一些表態

[24:10.000~24:11.240] 或是有一些分析人員

[24:11.240~24:13.040] 像最近大家在可能

[24:13.040~24:13.980] 那是LinkedIn還是X

[24:13.980~24:15.880] 他們有看到Gavin Baker的一個發文嗎

[24:15.880~24:17.180] 就大家會開始去思考說

[24:17.180~24:18.580] 為什麼老黃要去做這個買賣

[24:18.580~24:19.780] 那他們最後面呢

[24:19.780~24:22.220] 就按照我自己對市場的理解跟認知

[24:22.220~24:23.580] 我覺得他們就已經會繞回到手

[24:23.580~24:24.820] 所以老黃就是想要

[24:24.820~24:26.960] 更新更快的一個記憶體

[24:26.960~24:29.620] 更有效率的去做推論

[24:29.620~24:30.460] 那因為這樣子

[24:30.460~24:32.060] 大家會去找哪些東西

[24:32.060~24:33.600] 它們可能是潛在的Solution

[24:33.620~24:35.460] 那於是可能這些東西呢

[24:35.460~24:36.760] 在市場上面就會有一些

[24:36.760~24:38.420] Reread的空間存在

[24:38.420~24:40.700] 這是我自己比較大膽的一個猜想

[24:40.700~24:41.800] 那我剛剛已經強調

[24:41.800~24:43.500] 因為這個可能跟那個

[24:43.500~24:45.940] 就是在非常專業領域的人的看法

[24:45.940~24:46.460] 會有點不一樣

[24:46.460~24:47.140] 因為他們會覺得說

[24:47.140~24:48.100] 像我講的這些東西

[24:48.100~24:49.000] 那個還這麼遠

[24:49.000~24:50.040] 那個還這麼久

[24:50.040~24:51.000] 可是市場很有趣

[24:51.000~24:52.540] 像大家最近都已經是

[24:52.540~24:53.040] 怎麼講

[24:53.040~24:54.980] 光通已經在台灣人的眼中

[24:54.980~24:56.840] 目前已經視為說就是有了

[24:56.840~24:57.680] 你已經看到這麼多東西

[24:57.680~24:59.620] 你看到NVDA的CPU

[24:59.620~25:01.520] 然後你看到Tomahawk的CPU

[25:01.520~25:02.320] 就大家都已經看到了

[25:02.320~25:03.360] 可是問題是你知道這個東西

[25:03.380~25:04.680] 是什麼時候開始股票就動嗎

[25:04.680~25:05.180] 三年前

[25:05.180~25:07.180] 然後是三到四年前左右

[25:07.180~25:08.580] 東西就已經先動了

[25:08.580~25:09.520] 所以其實市場有時候

[25:09.520~25:11.220] 它真的會走得比較快一點

[25:11.220~25:12.020] 所以有可能就是說

[25:12.020~25:14.220] 如果今天大家開始把焦點

[25:14.220~25:15.360] 從本來的HBM

[25:15.360~25:16.060] 然後換到

[25:16.060~25:18.060] 你看至少大家願意去討論SRAM

[25:18.060~25:19.060] 那為什麼要用SRAM

[25:19.060~25:20.260] 然後大家可能開始理解到說

[25:20.260~25:21.900] 因為它的速度是更快

[25:21.900~25:22.900] 它效率是更高

[25:22.900~25:23.900] 可是SRAM太貴

[25:23.900~25:25.600] 那SRAM太貴我們什麼其他的解放

[25:25.600~25:27.700] 那就會有一些答案就會浮出來了

[25:27.700~25:29.540] 所以這可能是在接下來

[25:29.540~25:30.740] 就是我自己會想觀察一下

[25:30.740~25:31.940] 市場有沒有往這個方向去

[25:32.200~25:33.400] 發展的一個可能性

[25:33.400~25:35.600] 那一樣這個是一個比較前期的猜想

[25:35.600~25:37.700] 就如果說後面真的有走出一些族群的話

[25:37.700~25:39.560] 那我們再拉出來跟大家做討論

「以下為個人心得，僅供參考」

06:10 近期市場話題 #記憶體

-華碩幾乎不可能為記憶體特地建廠生產

-未來模組廠最大問題是低價庫存賣完後怎辦

-若之後買高價入庫存，價格反轉時風險極大

-投資Dram廠換穩定供貨的劇本可能性也較低

-記憶體應該會持續漲到明年全年(逐月上漲)

-投資擴廠基本上都是遠水救不了近火

-對大CSP而言記憶體都是小錢，漲多少都會買

-但對消費性則是毀滅性的打擊(成本佔比高)

-高階手機可能勉強還行，但中低階衝擊更大

-未來連GPU、CPU也都會開始漲價

-甚至貴金屬也都暴漲，提前反應未來的通膨預期

13:10 #NVDA 收購 #GROQ #SRAM

-要加強AI最快方式就是挖優秀的人才

-NV想買可能是因創辦人曾參與TPU的開發

-買走就少一個對手，且有機會迸出其他可能性

-也可能是打算將SRAM整合進NV的Server

-AI模型的重心慢慢從訓練轉向推論

-CPX用大量的GDDR來加速Prefill

-SRAM則是能讓Decode能顯著加速

-或許是想以此技壓群雄(ASIC)，尤其是TPU

-GPGPU在泛用性、成本等考量都仍會是首選

-TPU不能只看GOOG成本，如果是售價呢?

-先前Groq推出使用SRAM的LPU

-SRAM本身是on chip且成本相對高不少

-SRAM在晶片面積上占空間，晶片難以微縮

-SRAM容量低需要很多顆，也只有推論效果才好

-若真的要炒SRAM概念股，大概就是TSM

-NV這步棋的用意或許是想「打破記憶體牆」

-若能做到In Memory Computing(IMC)不是更好嗎?

-IMC雖是還很遠的概念，但不排除題材先行

-HBF/VHM/WoW..等各個題材也可能拿出來討論

-華邦電的3D Cube可以簡化視為低配版HBM

-市場可能開始猜測老黃想要更新更快的記憶體解方

-但最後市場會如何發展還是要看後續市況

25:39 QA時間