付費限定文章

三分鐘搞懂語言模型能力指標，Perplexity (困惑度)

如何評量一個大型語言模型有學到東西? 其中一個常用指標就是Perplexity(困惑度)。由於困惑度被大量論文引用，學習CP值很高，所以寫專文介紹。

上帝視角:

相信大家有做過英文填空題，如果單字沒有背熟，文法沒有搞懂，在缺乏足夠知識的情況下，每個選項感覺都對，無法選出正確答案。

對沒讀書的人來說，這個題目資訊量很大，腦中缺乏知識導致。而對於學霸來說，這題就是一塊蛋糕 (A piece of cake)，由於答題所需的知識充足，題目沒有給他帶來的任何的額外資訊量，直接能確定正確答案。

基於資料壓縮與編碼長度理念計算的困惑度

p_θ :

你的認知機率模型，用來回答考題的大腦神經元區塊。

_θ :

腦袋裡面神經元儲存的認知參數，知道的相關知識越多，越