RAG是否會被打趴？

令人驚奇的是，CSP提供的AI模型現在已經能直接處理長達 100 萬個 token 的內容，大幅提升對資訊的整體理解、推理與分析能力。

相對來說，Edge Computing 受限於硬體資源，無法負荷如此龐大的計算量，因此必須採用檔案檢索增強生成（RAG）技術。

所謂 RAG 方法指的是，將大型文件拆分為數個小區塊（chunks），並存入向量資料庫。當使用者提出查詢時，系統會檢索出與問題最相關的區塊，然後將其餵給 AI 模型進行回答。

這種方式雖然無法讓模型一次性理解完整文件，但透過精準檢索與高效計算，依然能夠在資源有限的情況下提供有價值的回應。

有人說大型語言模型的快速進化會打死RAG，但我認為，雲端與邊緣運算面對不同場域，擁有各自適合的解決方案。