五分鐘科普AI PC

✍ 什麼是AI PC?

廣義上來說，只要可以執行生成式 AI 功能的電腦，都可以叫做AI PC。

更嚴格的定義為，可以在離線狀態下，運行生成式AI功能的電腦 。

-

✍ AI PC的應用

AI PC不只是規格比較好的電腦。還可以用來當作「邊緣運算」的伺服器。

什麼是邊緣運算？

可以把它想像為指定區域內的電腦作為伺服器，進行AI運算。

舉例來說：

一家零售商店希望提升顧客體驗，他們可以選擇在商店內部署AI PC，再配合攝像頭和感應器實時收集顧客的行為數據，運行電腦視覺和機器學習算法，分析顧客行為模式，識別熱區和冷區，並進行即時回饋。

因此，進階的應用都會追求在離線狀態下，執行生成式AI模型，例如生成圖片、程式、文章、QA系統。

企業常見的目標是建立私有的LLM。

-

✍ 私有LLM是什麼？

對於一般使用者來說，如果需要AI，不是只要使用OpenAI、Google、微軟...等大型CSP提供的服務就好了嗎？

但是對於企業用戶來說，會盡量避免其商業資料外流。

假設使用大型CSP提供的AI服務，老闆難免會擔心，公司機密的商業資料外流。

因此有資安意識的老闆通常會鼓勵公司自建LLM、或者禁止員工使用外部AI服務（笑）。

如果需要建立私有LLM，這時候就需要購買AI PC當作伺服器。

完成建設後，內部員工再連線到伺服器，即可使用私有的LLM。

-

✍ 私有LLM好處是什麼?

好處(1) 資料的隱私性

不必將資料交給外部CSP。

好處(2) 客製化語言模型

使用自建的LLM，可以透過RAG及fine-tuning等技術調教語言模型，使回答更能貼近公司營運的真實情況。

好處(3) 節省token費用

外部LLM會限制問答字數，或者提供付費方式，以獲得更多提問的權利。

使用私有LLM，則不必擔心問答字數的問題。

-

✍ AI PC的硬體要求

根據英特爾和微軟的要求，AI PC應該具備的三個最基本的原則：首先是能夠運行微軟的Copilot；其次是配備專用NPU（以及現代化CPU 和GPU）；最後是具有專用的Copilot按鍵。

更嚴謹的定義是AI運算效能須為40 TOPS以上、DRAM須達16GB以上。

＃不過原則是看應用的情境，需要用到多大的語言模型。

越大的模型對硬體的要求越高。

-

✍ AI PC相關產品

(1) APPLE Mac Studio, M2 Ultra

旗艦版的晶片可讓 CPU 和 GPU 共享 192GB 的記憶體，頻寬高達 800GB/s，不需要任何模型壓縮就可以跑 Llama3 70B。

(2) NVIDIA Jetson Orin

鎖定智慧零售、智慧城市、無人機、機器人應用。

提供高達275 TOPS的AI效能，實現對複雜神經網路和電腦視覺演算法的即時處理。其功率效率、多功能性、可擴充性和堅實的軟體生態系統使其成為AI和機器學習應用在邊緣的理想選擇。

該產品為NVIDIA與凌華科技攜手打造。

(3) 微星 MSI Chat

MSI Chat 5秒就能回答答案，還能兼顧資安。

MSI Chat是一款可離線使用的聊天機器人，把資料夾的文件資料餵給它，就可以針對內容詢問，另外還可以文生圖。

(4) ChatRTX

NVIDIA聊天機器人，可以餵資料、選擇運行的AI模型，離線回答相關問題。

(5) 群聯aiDAPTIV+

雖然官方沒有明講，但我覺得算是AI PC的一種變形。

概念是以SSD分攤記憶體工作，在有限的GPU與DRAM資源下，最大化可執行的AI模型。

群聯雖然將DGX當作競品，主打平價版AI伺服器。

但我認為他的市場會是在邊緣運算，競爭對手為AI PC。

但目前整個AI PC的市場看起來是很競爭的。

-

✍ 結論

我認為AI PC目前處於百家爭鳴的狀態，消費者可以根據不同情境，選購需要的商品。

學術研究可以買APPLE MAC、商業應用可以買NVIDIA Jetson。

甚至土炮一點，自行買顯卡、RAM自行升級......

由於Llama開放原始碼的關係，LLM發展速度極快，未來會必定會發展出更多好用的LLM，提供企業、個體戶建立私有LLM。

所以整個AI PC的市場其實是競爭的，如果要找投資機會，還是從零組件去看比較合適。

簡單拆解的話可以分為DRAM、NAND、指紋辨識、ISP晶片、WiFi 7、HDI主板，那又會是另外的故事了......

-

以上分享，謝謝大家。