AI說書 - 從0開始 - 57

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

• Single-Head Attention 數學說明：AI說書 - 從0開始 - 52
• Multi-Head Attention 數學說明：AI說書 - 從0開始 - 53
• Attention 機制程式說明 - 輸入端：AI說書 - 從0開始 - 53
• Attention 機制程式說明 - Query 端：AI說書 - 從0開始 - 54
• Attention 機制程式說明 - Key 端：AI說書 - 從0開始 - 54
• Attention 機制程式說明 - Value 端：AI說書 - 從0開始 - 55
• Attention 機制程式說明 - Query 、 Key 、 Value 結果：AI說書 - 從0開始 - 56

對照 AI說書 - 從0開始 - 52 的圖示結果，我們目前有 Q、K、V 三個矩陣分別為：

Q =

[ 1 2 2
  0 2 1
  2 2 3 ]

K =

[ 0 4 2 
  1 4 3
  1 0 1 ]

V =

[ 1 2 2
  2 8 6
  3 0 3 ]

接著計算 K^T Q 得到 A：

A = K.transpose() @ Q

A = ​[ 2  4   4
      4  16  12
      4  12  10 ]