生成式AI應用架構選擇自建還是雲端之思考

近期，我在公司內部討論了關於大型語言模型（LLM）的導入問題，焦點在於應該選擇自建AI伺服器還是使用雲端服務。這個問題在生成式AI風氣盛行的今日，顯得尤為重要。企業在選擇語言模型進行微調，或是語言模型搭配使用檢索增強生成（RAG）模式時，面臨AI基礎建設的選擇主要會是考量自建AI伺服器或採用雲端服務。這兩種方案各有優劣，且都涉及成本支出，因此，必需要仔細評估其對企業生產力的實際價值。多數企業，認為導入LLM就一定會提升公司員工生產力，這是不正確的。在公司內部運作有其專業性，與我們日常使用GPT的情境所得到的效益，評估方式是不同

成本與效益分析：Microsoft 365 Copilot

從成本與效益的角度來看，我以Microsoft 365 Copilot為例。Copilot功能強大，並且有Copilot Studio可以擴充其功能。然而，使用這個服務需要每位用戶每月支付30美元。從某個角度來看，30美元可能不多，但這取決於其效益是否顯著。

如果企業內部的資訊主要存儲在地端，且並非所有資料都在雲端，同時每位用戶每月的使用頻率可能不超過20次（這只是預估，實際可能更少），那麼30美元的訂閱費用就顯得相當可觀。尤其是當多數用戶的使用模式僅限於像ChatGPT這樣的常見問題時，這筆費用可能顯得過高。

相比之下，使用Azure OpenAI打造一個GPT，或是對於不需要深度使用企業內部資訊的用戶，甚至使用免費的Edge Copilot可能更具成本效益。根據我自己的內部調查，多數用戶其實只有在使用Outlook或Teams時對Copilot感到興趣，其他功能對企業用戶的生產力提升是非常有限，甚至有些人每月使用Copilot不到5次。這樣等於白白浪費30美金

當然，從另一個角度來看，如果企業的資料都在雲端，且企業內部只有極少數開發人員，採用Copilot可能會有進一步評估的效益。因此，30美元的費用到底是貴還是便宜，取決於企業內部的使用情境和需求，甚至，如果企業開發人員夠多，或許自行開發符合企業的Copilot或許是有價值。(前提是須要有這樣技術能力)。只有在全面評估這些因素後，才能做出最適合企業的決策，並非一昧採用，甚至可以做到只針對需要使用的單位才進行Microsoft 365 Copilot授權會更佳

LLM的準確性與應用場景

LLM產出的資訊並非100%正確，且可能存在幻覺。如果企業內部的應用場景要求高精度，那麼LLM可能不適合這些場景。這需要在導入前進行嚴格的需求分析和場景評估。例如透過GPT進行數字的計算，這往往就會出現出乎意外之結果，對於要精準數字做判斷的工作，就無法"直接"使用GPT，還是需要額外加工後才可以。會這樣說，主要大多數企業人員都會認為有了GPT，就可以不用自己做報表或是做Excel的數字運算

自建AI伺服器 vs. 雲端服務

許多人認為自建AI伺服器是最划算的方式，因為雲端服務可能會被廠商綁住且價格昂貴。然而，這並不一定正確。雲端技術具備快速部署和縮短開發週期的優勢，並增加與用戶之間互相探索的彈性，省去維運成本與時間。而自建AI伺服器則提供更高的控制性和情境特殊性。LLM模型的發展很快速，現在Token費用上可能會發現非常昂貴，這也是使用雲端服務必須支付的成本中最高的一項。企業內部則可以不用考量這方面成本嗎？其實企業內部也需要考量，只是相對來說成本支出較少。不過，很難保證Token費用在未來是否會走向越來越便宜的趨勢。

隱藏成本的考量

在企業內部建置AI伺服器時，通常只會討論到硬體成本，但實際上還有許多隱藏成本需要考量。這些隱藏成本不僅僅是硬體成本，還包括以下幾個方面：

維運和開發人員：是否需要增加額外的維運和開發人員，以確保AI服務的穩定運行？這些人員的薪資和培訓成本都是需要考慮的。

維運、監控和除錯時間：在AI系統運行過程中，可能會遇到各種問題，需要花費大量時間進行維運、監控和除錯。這些時間成本也是不容忽視的。

服務穩定的設計與開發：為了維持服務的穩定性，可能需要進行額外的設計與開發工作，甚至購買更多的第三方元件，例如資安服務。這些都是額外的成本。

模型微調和配置：微調模型所需要的人力時間，以及其他解決方案的配置與建構，這些都是需要額外投入的資源。

這些隱藏成本在初期可能不會顯現，但隨著時間的推移，這些成本會逐漸累積，對企業的財務狀況產生影響。因此，在選擇AI導入方案時，必須全面考量這些隱藏成本，才能做出最適合企業的決策。

商業情境與需求導向的AI導入模式

我們應根據商業情境和需求，選擇最適合的AI導入模式及建置方案，以最大化投資回報。因此，採用雲端AI和自建AI伺服器的混合方案，可能是企業實現AI應用的理想選擇。舉例來說，當我們在導入LLM解決方案於企業某一種場景時，如果整個規模不大或是整體使用頻率沒有達到一定規模，透過雲端服務相對來說會更便宜。畢竟，投入硬體成本是需要在初期就投入，且硬體會有折舊更新問題，在沒有一定規模下，這樣會隨著時間，又必須採用新衣波的硬體。如果，我們希望能增加導入速度或快速驗證企業內情境是否適用下，雲端服務會是最快的一種方式。

然而，在某些特殊情境下，基於高資安和網路延遲的考量，搭建企業內部的AI架構也是必須的。這樣可以確保數據的安全性和系統的穩定性。

有人可能會擔心，使用雲端後，隨著經濟規模的擴大，雲端費用成本會變得非常高。這是可能的，但這時候再將系統轉移到地端也不遲。然而，初期架構設計不良可能導致在切換架構時發現無法切換，從而衍生出額外的成本。因此，一開始的架構設計是否能在雲和地之間切換是非常重要的。

從模型來看，很多LLM或SLM模型可以在雲端和企業內部運作。剩下的問題是應用層的架構設計是否可以做到即時切換。Kubernetes（K8s）或許是一個值得考慮的方向。

前期資料處理的重要性

在這些通盤考量下，才能真正判斷採用什麼方案才是最適合的。多數企業在AI前期的部分就已經需要花大量人力，前期的部分主要是指資料處理。大多數時候，企業的資料都是髒亂且不完整，這部分需要花大量人力與心力投入，這樣我們才能確保AI學到的資訊是正確的。也因此，在AI語言模型這部分，是否可以仰賴雲服務進行協助，就必須進行平衡考量

結論

在考量導入大型語言模型（LLM）時，企業需仔細權衡自建AI伺服器與雲端服務的優劣。自建AI伺服器提供更高的控制性和情境特殊性，但隱藏成本如維運、開發人員、監控和除錯時間等不容忽視。雲端服務則具備快速部署和彈性，但長期成本可能隨著使用規模擴大而增加。企業應根據自身的商業情境和需求，選擇最適合的AI導入模式，甚至考慮混合方案以最大化投資回報。此外，前期資料處理的重要性不容忽視，確保AI學到的資訊是正確的，才能真正提升企業生產力。最終，全面評估各種因素，制定靈活且可切換的架構設計，才能做出最適合企業的決策。