困惑度(Perplexity,簡稱PPL)是自然語言處理(NLP)及大型語言模型中常用來衡量模型預測能力的指標。
它的意義在於衡量模型在對一句話或一組語料作預測時的「困惑程度」或「不確定性」:
- 困惑度越低,表示模型對文本的預測能力越強,能較準確地猜出下一個字詞。 困惑度越高,代表模型在預測時感到越困惑,準確度越差。
- 如果模型對下一個字詞完全確定(機率為1),困惑度為1,意即無任何困惑。 若模型對多個字詞可能性相近,困惑度會增大。
困惑度也是語言模型訓練與評估的重要指標,透過比較不同模型或調整參數來降低困惑度,能提升模型的語言理解與生成效果。
簡單總結:困惑度衡量模型對語言資料預測的「準確性」和「確定程度」,是評估語言模型好壞的重要數據指標。