AI系列-3 RAG + LLM 技術解析：巨頭策略、開源方案與產業應用

在 RAG + LLM 的競賽中，科技巨頭們紛紛推出了自己的解決方案。它們的策略各有不同，但都圍繞著一個核心目標：掌握知識的鑰匙。

• Google：知識圖譜的王者
• • Google 擁有龐大的搜尋引擎和知識圖譜，這本身就是一個巨大的向量空間。
  • Google 的 Gemini 模型，能夠充分利用這些資源，提供即時、全面的答案。
  • 根據 Google 的數據，Gemini 模型在多項基準測試中，都取得了領先的成績。
  • Google 的策略是，利用其在搜尋引擎和知識圖譜方面的優勢，建立一個通用型的 RAG 系統。
• IBM、微軟、AWS：企業級的客製化與預建向量空間的結合
• • 這些公司更傾向於提供工具和服務，讓企業能夠建立自己的向量空間。
  • 它們強調 RAG 的客製化能力，以滿足不同行業和企業的需求。
  • 例如，IBM 的 Watson Discovery 服務，可以幫助企業快速建立 RAG 系統。
  • 然而，僅僅提供客製化工具並不足夠。這些巨頭很可能也會利用預建的向量空間（例如 IBM_dpr、xxx.dpr），作為企業級 RAG 系統的基礎或補充。
  • 這些預建的向量空間，可能包含通用知識、行業知識或特定的專業知識，可以大幅提升 RAG 系統的檢索效率和答案品質。
  • 這些公司的策略是，在提供靈活的客製化工具和平台的同時，也提供預建的向量空間，以滿足企業的多樣化需求。
• 開源社群：靈活與創新
• • 開源社群的 RAG 系統，更加靈活和可客製化。
  • 它們可以使用各種資料集和索引，並不斷探索新的技術和方法。
  • 例如，LangChain 和 Haystack 等開源框架，提供了豐富的 RAG 工具和範例。
  • 開源社群的策略是，透過社群協作和技術分享，推動 RAG 技術的創新和發展。

然而，無論策略如何不同，科技巨頭們都意識到，預建向量空間對於 RAG 系統的重要性。它們都在努力建立高品質的向量空間，以提升 RAG 系統的效能。

數據分析：

• 根據市場研究，RAG + LLM 市場，預計在未來幾年內，將保持高速增長。
• 越來越多的企業，開始採用 RAG + LLM 系統，以提升其知識管理和客戶服務能力。
• 在今天的嘗試中，我們發現，即使我們使用了自定義的 CustomHFIndex 類別，並覆寫了 get_embedding 和 get_doc_dicts 方法，Facebook 的 RAG 模型仍然無法正確載入我們的資料。
• 這讓我們意識到，不同的 RAG 模型，可能對向量空間的建立和使用方式，有不同的要求。

在我們的實作過程中，我們也深刻體會到，預建向量空間對於 RAG 系統的重要性。沒有密集的向量空間，光憑客戶的資料庫，LLM 很難產生高品質的答案。這也解釋了，為何 Facebook 的 RAG 模型，會如此依賴 wiki_dpr 資料集。

RAG + LLM 是一個充滿潛力的領域，但也充滿了挑戰。我們需要更深入地理解其背後的技術原理，才能夠真正掌握知識的鑰匙。

案例分析：

• 金融機構，可以使用 RAG + LLM 系統，建立反洗錢系統。
• 透過建立交易記錄和客戶資料的向量空間，系統可以快速識別可疑的交易行為。
• 在今天的嘗試中，我們發現，使用 FAISS 函式庫建立向量索引，可以有效地提高檢索效率。

熱門名詞：

• 知識圖譜（Knowledge Graph）：
• • 用於表示實體和實體之間關係的圖形資料庫。
• 基準測試（Benchmark）：
• • 用於評估模型效能的標準化測試。
• 反洗錢（Anti-Money Laundering）：
• • 防止利用金融系統進行非法資金轉移的措施。
• DPR（Dense Passage Retrieval）：
• • 一種用於檢索相關文本段落的技術。
• CustomHFIndex：
• • 允許使用者自定義索引行為的類別。

給新進業者及企業的建議：

• 深入理解 RAG 的複雜性：
• • RAG + LLM 並非簡單的「即插即用」工具，需要深入理解其背後的技術原理。
• 重視向量空間的建立：
• • 高品質的向量空間，是 RAG 系統產生高品質答案的關鍵。
  • 投入足夠的資源，建立和維護向量空間。
  • 同時，也要考慮利用雲端服務提供商或其他管道，提供的預建向量空間，以提升 RAG 系統的效能。
• 選擇合適的 RAG 策略：
• • 根據自身的應用場景和需求，選擇合適的 RAG 模型和工具。
  • 可以考慮使用開源框架，或與雲端服務提供商合作。
• 持續學習和實驗：
• • RAG 技術仍在不斷發展，需要持續學習和實驗，才能夠掌握最新的技術和方法。
• 資料的品質：
• • 資料庫的品質，是ＲＡＧ品質的基礎，所以需要相當重視資料的品質。

希望這些資訊對您有所幫助。