RAG(檢索式增強生成)是一種常見的企業導入 AI Agent 時所採用的架構,其基本原理是:在回應使用者問題時,先從資料庫中檢索出與問題最相關的內容切片(通常是段落或小節),再交由語言模型根據這些切片生成回答。
AI 並沒有「真正理解」整份資料庫的內容,也不是從頭到尾都「讀過」所有資料。它只是利用向量搜尋或其他檢索方法,找到當下最相關的部分來生成回應。
當語言模型本身已經有強大的知識基礎(例如 GPT-4 在醫療、法律、程式、商業等領域有深厚訓練),RAG 所提供的資料就能「補充、更新或校正模型知識」,例如提供:- 最新的公司內部文件
- 特定產品的操作流程
- 客製化的服務內容或 FAQ
這樣的搭配效果最佳,因為:
- 模型本身已能「理解這個領域」
- 檢索回來的資料可以更精準地被模型解釋與利用
- 即使檢索內容有些許缺漏,模型也能用過往知識補足
若該領域是模型完全陌生(如專屬獨有的知識),而資料切片又不夠精準或上下文不清,模型就難以正確理解與回答。
實驗方法:設計 3 種測試案例
1. 隱藏資訊實驗
目的:檢查 AI 是否能回答未被檢索到的資料
- 建立一份文件資料庫(例如 10 段落的產品說明)
- 在第 7 段中放入關鍵資訊(例如:「按鈕壞掉時,請同時按 Ctrl + R 重啟功能」)
- 提問:「如果按鈕壞掉了怎麼辦?」
操作:觀察模型是否能正確回答。如果你設定的 RAG 僅檢索 2–3 段,且這 7 段沒被選中,回答就會缺失或胡亂猜測。
2. 混淆語境實驗
目的:測試 AI 是否因檢索段落上下文不清而誤判意思
- 放入一段資料:「A 系統每天早上自動備份,但若伺服器為 B 類型則不執行。」
- 問:「B 系統會自動備份嗎?」
操作:如果檢索只撈到「A 系統每天早上自動備份」,模型會給出錯誤答案,因為缺乏後半句。
3. 知識落差實驗
目的:測試模型是否能靠自身知識補足資料不足時的回答品質
- 資料中只寫:「我們使用 AES 加密技術。」
- 問:「AES 是什麼?有什麼安全等級?」
操作:模型就算沒有撈到任何說明,也可能基於自身訓練資料回答出 AES 是對稱式加密演算法等資訊,這代表它在「有基礎知識」的情況下,能更好地處理資料不足的情況。