AI說書 - 從0開始 - 251 | Attention Head 視覺化

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

延續 AI說書 - 從0開始 - 250 | Attention Head 視覺化 的內容，接著開始分析，兩列標記上方的每種顏色代表 Layer Number 的一個注意力頭，選擇 Layer Number 並點選注意力頭 (顏色)，以「animals」一詞為例：

可以看到「animals」一詞和很多詞有相關聯，這很正常，因為我們在 Layer 0，我們可以切換到 Layer 1 的第 11 個 Head 看看：

結果顯示「animals」一詞和其他詞的關聯性就降低了。