AI說書 - 從0開始 - 258 | Attention Head 輸出機率檢視

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們在 AI說書 - 從0開始 - 257 | Attention Head 輸出機率檢視 中，撰寫了程式，試圖視覺化 Attention Head 輸出機率，以下開始檢視成果：

這是一個互動式介面，比方說選擇 Layer = 0、Head = 0，得到以下結果：