AI說書 - 從0開始 - 256 | Attention Head 輸出機率檢視

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

回顧我們在 AI說書 - 從0開始 - 255 | Attention Head 輸出機率檢視 中，檢視 Attention Head 的輸出機率，這以數學層面來說就是 AI說書 - 從0開始 - 52 的內容，更具體來說的關鍵數學式為：

以目前的模型來說，關鍵參數為：Layer 數目為 12、每個 Layer 包含 12 個 Head、Input Embedding 的維度為 768、d_k 為 768 / 12 = 64