群聯「aiDAPTIV+」力拼放量出貨，有機會轉型為AI公司？

本週從GenAI出發，聊一下群聯跟AI PC之間的關係。

-

首先定義所謂的生成式AI (GenAI) 三階段。

1.預訓練：

也就是一般常聽到的訓練模型，這個階段的訓練成本龐大，需要串聯上萬顆GPU，訓練時間一個月。

舉例來說，ChatGPT訓練一次的成本約為1000萬美金

2.微調 (Fine-Tuning)：

第一階段訓練出的通用模型，無法精準回答專業領域的問題，因為需要將專業領域的問答餵給語言模型，使其能夠針對不同領域，特化為更專業的語言模型。

舉例來說，ChatGPT即有針對不同使用情境，推出特化的語言模型。

3.推論 (Inference)：

終端PC，針對使用者的問題，應用訓練好的語言模型，推論出正確答案。

可以將模型想像為數學函數：y = f(x)，使用者輸入問題x，模型即可推論出答案y。

-

目前常聽到的邊緣運算、AI PC，通常指的終端設備可以實現GenAI推論的功能。

舉例來說，華碩自研軟體：「Muse Tree」，能幫助創作者找圖片靈感。

使用者可用文字或圖片形式，新增圓圈狀的靈感，組成樹狀圖，而單一靈感可以下指令讓生成式AI生成圖片，例如森林、帳篷。

而微星推出MSI Chat服務，則是可離線使用的聊天機器人。

把資料夾的文件資料餵給它，就可以針對內容詢問，另外還可以文生圖，功能都是在終端運算，微星指出，這款軟體和Copilot的不同在於資安和速度，現場實測只需要5秒左右，就可以回答或生成圖片。

-

而群聯瞄準的是語言模型Fine-Tuning的市場。

不同於華碩、微星，使用事先訓練好的語言模型，瞄準消費級市場，GenAI模型處理的問題為常見的翻譯、寫作、生圖。

群聯瞄準專業化領域如醫療、法律、會計、學術、科技等，一般通用模型無法精準解決的問題。

考慮到企業隱私，企業端必定有Fine-Tuning的需求。

由於Fine-Tuning最耗費的資源是記憶體，群聯推出的產品「aiDAPTIV+」，能夠在伺服器內透過群聯自己開發的軟體，將SSD當作記憶體使用，解決AI運算中記憶體容量的問題。

而SSD相較於HBM，雖然速度較慢，但有價格優勢，適合對價格較敏感的客戶。

-

什麼樣的客戶不適合「aiDAPTIV+」？

站在股票投資的角度，要思考的是公司大力推的產品，風險在哪裡。

由於群聯主打平民版的AI。

第一，經費多（且技術強）的大公司，如台積電、聯發科不會採用「aiDAPTIV+」。

第二，技術能力強的公司（個人）。

技術能力強的公司通常會想方設法優化Fine-Tuning環境。

舉例來說，Hugging Face 的@_philschmid 有一篇教學，使用消費級顯卡，以最低的成本微調 (Fine-Tuning) Llama 3 70B 模型。

原理是使用FSDP技術，串連4個24GB的GPU。

第三，願意租用雲端設備訓練的公司。

目前Paperspace或Lambda Labs、都有提供雲端使用GPU的服務，企業可透過雲端GPU進行Fine-Tuning。

這種方法適合變動性較小的語言模型。企業一年若只需Fine-Tuning一次模型，其實也不需要自己購買硬體設備。

第四，應用情境簡單的公司。

並不是所有企業都需要用到Fine-Tuning，針對特定特定領域、需要自訂寫作風格、有足夠訓練資料的企業才需要。

在條件單純的情境下，可以使用通用的語言模型進行RAG技術，其定義如下：

擷取增強生成 (RAG) 是對大型語言模型輸出最佳化的過程，因此在產生回應之前，它會參考其訓練資料來源以外的權威知識庫。大型語言模型 (LLM) 在大量資料上訓練，並使用數十億個參數來生成原始輸出，用於回答問題、翻譯語言和完成句子等任務。RAG 將原本就很強大的 LLM 功能擴展到特定領域或組織的內部知識庫，而無需重新訓練模型。這是改善 LLM 輸出具成本效益的方法，可讓 LLM 在各種情況下仍然相關、準確且有用。

簡單來說，即是可以讓模型參考另外外部文件，增加回答的正確性及依據。

-

小結

「aiDAPTIV+」為群聯未來發展的重點項目之一。

雖然群聯執行長潘健成透露，群聯 AI100 解決方案第一季出貨約 100 套，第二季估計提升至 2000 多套，第三季目標達到上萬套。

但市場目前還抓不準「aiDAPTIV+」未來的出貨量。畢竟SSD取代HBM只是Fine-Tuning的其中一個方法。

Fine-Tuning在Open Source的圈內還有許多人正在研究不同方法。

就讓我們繼續看下去...XD。