五分鐘科普AI PC

＊什麼是AI PC?

廣義上來說，只要可以執行生成式 AI 功能的電腦，都可以叫做AI PC。

更嚴格的定義為，可以在離線狀態下，運行生成式AI功能的電腦 。

-

AI PC的應用可以分為2B（Business)、2C（Customer）。

2C的產品直接面對消費性市場，重點發展項目為：「透過Gen AI技術提高創作者生產力」、「降低創作門檻，讓一般人也能夠進行創作」、「增加學生、上班族日常工作之生產力」。

舉凡華碩、微星、宏碁都有陸續推出Gen AI的服務及機種。

2B的應用除了提升個人生產力，另外還強調運用邊緣運算，形成組織內的智慧網路。

至於什麼是邊緣運算？

＊想像假如有一座無人工廠，為了進行AI運算，需要購入一台AI PC作為伺服器，在配合攝影機、感應器，即可搜集工廠內部機台稼動稼動情況，若再導入電腦視覺的AI運算，可以讓廠內的AI PC即時反映廠內異常狀況。

＊以零售商店為例，假設有一家零售商店希望提升顧客體驗，他們可以選擇在商店內部署AI PC，再配合攝像頭和感應器實時收集顧客的行為數據，運行電腦視覺和機器學習算法，分析顧客行為模式，識別熱區和冷區，並進行即時回饋。

-

另外一個2B的熱門應用是於建立公司自有的Gen AI服務。

對於一般使用者來說，如果需要Gen AI服務，只要使用大型CSP提供的服務就好。

但是對於企業用戶來說，為了避免公司機密資料外流，第一步會先禁止員工使用外部的Gen AI服務。

但是考慮到Gen AI服務會為公司生產力帶來幫助，建立私有的Gen AI服務就成為許多公司希望達成的目標。

-

幸虧研究Gen AI的開源社群十分蓬勃發展，自建Gen AI服務的技術門檻已經逐日降低，假設沒有特殊需求，可以使用Ollama建立平台、再搭配開源大型語言模型「Llama 2」，目前網路上已經有許多相關的教學。

Ollama 是一個開源軟體，讓使用者可以在自己的硬體上運行、創建和分享大型語言模型服務。這個平台適合希望在本地端運行模型的使用者，因為它不僅可以保護隱私，還允許用戶透過命令行介面輕鬆地設置和互動。Ollama 支援包括 Llama 2 和 Mistral 等多種模型，並提供彈性的客製化選項，例如從其他格式導入模型並設置運行參數。

-

​自行建立Gen AI服務，除了可以保有資料的隱私性，亦可以透過「RAG」、「fine-tuning」等技術調教語言模型，使AI的回答能夠更加貼近公司內部的實務狀況。

另外，外部Gen AI服務也經常碰到需要以token計費的情況，使用私有Gen AI模型可以節省這部分的費用。

-

英特爾和微軟有提出「AI PC」的定義，他們認為「AI PC」應該具備的三個最基本的原則：首先是能夠運行微軟的Copilot；其次是配備專用NPU（以及現代化CPU 和GPU）；最後是具有專用的Copilot按鍵。

更嚴謹的定義是AI運算效能須為40 TOPS以上、DRAM須達16GB以上。

不過實際上所需要的硬體規格，還是要看Gen AI的應用情境，以及需要用到多大的語言模型，越複雜的情況對硬體的要求則越高。

-

以下簡單帶過市場上目前推出的「AI PC」：

(1) APPLE Mac Studio, M2 Ultra (2B/C)

• 旗艦版的晶片可讓 CPU 和 GPU 共享 192GB 的記憶體，頻寬高達 800GB/s，不需要任何模型壓縮就可以跑 Llama3 70B。
• 在fine-tuning運算上，記憶體及頻寬是影響運算時間的重要因素。

(2) NVIDIA Jetson Orin (2B)

• 鎖定智慧零售、智慧城市、無人機、機器人應用。
• 提供高達275 TOPS的AI效能，實現對複雜神經網路和電腦視覺演算法的即時處理。其功率效率、多功能性、可擴充性和堅實的軟體生態系統使其成為AI和機器學習應用在邊緣的理想選擇。
• 該產品為NVIDIA與凌華科技攜手打造。

(3) 微星 MSI Chat (2C)

• MSI Chat 5秒就能回答問題，還能兼顧資安。
• 另外它也是一款可離線使用的聊天機器人，把資料夾的文件資料餵給它，就可以針對內容詢問，另外還可以文生圖。

(4) ChatRTX (2B/C)

• NVIDIA聊天機器人，可以餵資料、選擇運行的AI模型，離線回答相關問題。

(5) 群聯aiDAPTIV+ (2B)

• 概念是以SSD分攤記憶體工作，在有限的GPU與DRAM資源下，最大化可執行的AI模型。
• 群聯常常以DGX（高單價產品）作為對比，形容「aiDAPTIV+」以時間換取價格，是相對經濟實惠的解決方案。
• 更詳細的介紹可以參考下文。

-

結論

我認為AI PC目前處於百家爭鳴的狀態，消費者可以根據不同情境，選購需要的商品。

學術研究可以買APPLE MAC、商業應用可以買NVIDIA Jetson。

甚至土炮一點，自幹買顯卡、RAM自行升級、安裝Ollama......

由於Llama開放原始碼的關係，LLM發展速度極快，未來會必定會發展出更多好用的LLM，提供企業、個體戶建立私有LLM。

所以整個AI PC的市場其實是競爭的，如果要找投資機會，還是從零組件去看比較合適。

簡單拆解的話可以分為DRAM、NAND、指紋辨識、ISP晶片、WiFi 7、HDI主板，那又會是另外的故事了......

-

以上分享，謝謝大家。