LLM（Large Language Model，大型語言模型）的「幻覺」（Hallucination），是指：
換句話說，模型不是在查證事實，而是在「生成最可能的句子」，因此有時會「編造」資訊。模型在回答時生成了「看起來合理、語法正確，但實際上是錯誤或不存在」的內容。
一、為什麼 LLM 會產生幻覺？
LLM 的核心目標其實很簡單：
預測下一個最可能出現的 token（字詞）
例如：
巴黎是法國的 → 首都
台灣的首都是 → 台北
模型只是在做 機率預測：
P(next token∣context)
而不是：
- 查資料庫
- 驗證事實
- 邏輯證明
所以當資料不足時，它會：
「補出一個最像真的答案」
二、幻覺的典型類型
1️⃣ 編造不存在的事實
例如：
- 不存在的論文
- 不存在的公司
- 不存在的歷史事件
例：
“2021 年 MIT 發表了一篇論文證明 XXX。”
但其實：
沒有這篇論文。
2️⃣ 編造引用來源
LLM 很容易生成：
Smith et al., 2018
Nature Physics
DOI: 10.xxxx
但：
這些引用可能是假的。
原因：
模型知道「學術文章應該長這樣」。
3️⃣ 混合真實與錯誤資訊
例如：
愛因斯坦在1921年獲得諾貝爾獎，
因為提出相對論。
前半句：
✔ 正確
後半句：
❌ 錯誤（其實是光電效應）
4️⃣ 編造合理的推理
模型會生成：
因為 A → 所以 B → 因此 C
看起來很有邏輯，但：
前提本身可能是假的。
三、為什麼幻覺「不可完全避免」？
原因在於 LLM 的數學本質。
LLM 的訓練目標是：
maximize P(text)
不是：
maximize P(truth)
也就是：
最大化「像人類寫的文字」
而不是
最大化「真實」
四、從資訊理論看幻覺
當模型遇到：
- 訓練資料沒有
- 知識模糊
- 問題太新
就會出現 不確定性。
但模型又被設計成：
「一定要輸出答案」
所以就會：
用機率補齊缺失資訊
這就是 hallucination。
五、AI 研究界的一句經典話
在 AI 社群常說：
LLMs are stochastic parrots.
意思是：
「隨機鸚鵡」
模型只是：
- 模仿語言模式
- 重新組合文字
- 不理解真實世界
六、如何降低 LLM 幻覺？
現在主流方法有 5 種：
1️⃣ RAG（Retrieval Augmented Generation）
先查資料再回答
流程：
問題
↓
資料庫搜尋
↓
LLM生成回答
例如：
- ChatGPT 瀏覽模式
- AI 搜尋引擎
2️⃣ 工具使用（Tool use）
讓模型：
- 查 API
- 查資料庫
- 計算
例如：
- Wolfram
- SQL
- Python
3️⃣ Self-Consistency
生成多個答案再投票。
4️⃣ 不確定性輸出
讓模型可以說：
我不確定5️⃣ 強化訓練（RLHF）
用人類 feedback 降低幻覺。
七、最深層的一個哲學問題
很多 AI 研究者認為：
幻覺其實不是 bug，而是智慧的副作用。
原因：
人類其實也會 hallucinate：
- 記憶錯誤
- 編造細節
- 腦補因果
心理學研究顯示：
人類記憶本身就是生成式的。
所以：
LLM 的 hallucination
其實很像人類「想像 + 記憶重建」。
✅ 一句話總結
