大型語言模型中的幻覺問題

大型語言模型(Large Language Model, LLM)中的幻覺通常指模型產生不真實、錯誤、不一致或無意義的內容。我認為幻覺可以分成兩種類型：

1. 上下文內幻覺：模型輸出不與輸入上下文中的內容一致。
2. 外在幻覺：模型輸出不以預訓練資料集為基礎。我們可試圖確保模型輸出是基於事實的，並可以通過外部世界知識進行驗證。同樣重要的是，當模型不知道某個事實時，它應該表現出來。

為了避免幻覺，大型語言模型需要（1）基於事實，（2）在合適的情況下承認不知道答案。

什麼導致幻覺？

常見的原因存在兩個地方:1. 預訓練資料問題 2. 微調新知識

預訓練資料問題

預訓練資料集的資料數量很大，因為這些資料集被假設代表世界上所有可用形式的知識。從網路擷取的資料是最常見的資料來源，因此不可避免的會出現過時、缺失或不正確的訊息。由於模型可能通過簡單地最大化對數相似性來錯誤地記憶這些訊息，因此我們會預期模型會犯錯。

微調新知識

通過監督微調和RLHF（基於人類反饋的強化學習）來微調預訓練的LLM是提高模型某些能力（如遵循指令）的常見技術。在微調階段引入新知識是難以避免的。微調通常消耗的計算資源要少得多，這使得模型是否能通過小規模微調可靠地學習新知識成為一個值得討論的問題。Gekhman等人（2024年）[1] 研究了微調LLM以學習新知識是否會鼓勵幻覺的問題。他們發現：（1）與模型已有知識一致的例子相比，LLM學習包含新知識的微調例子的速度更慢；（2）一旦最終學習了包含新知識的例子，它們會增加模型產生幻覺的傾向。

避免幻覺

了解產生幻覺的原因後，學者們開始思考如何避免或減少幻覺的產生。

GopherCite（Menick等人，2022年）[2] 使用搜索引擎取得佐證材料並教導模型提供參考考資料。其進行監督式微調來引導模型，並且應用基於人類偏好的強化學習來訓練。但與依賴複製人類示範行為的WebGPT不同，GopherCite透過少量樣本提示來生成示例，每次生成都使用相關文件填充上下文，然後使用獎勵模型來評比哪些模型輸出是最佳的。

FAVA（「使用增強知識進行事實性驗證」；Mishra等人，2024年）[3] 檢索相關文檔，然後編輯模型輸出以避免幻覺錯誤。FAVA模型由檢索器 $\mathcal{M}\text{ret}$ 和編輯器 $\mathcal{M}\text{edit}$ 組成。

Reference

1. https://arxiv.org/abs/2405.05904
2. https://arxiv.org/abs/2203.11147
3. https://arxiv.org/abs/2401.06855