我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
目前我們已經完成:
對照 AI說書 - 從0開始 - 52 的圖示結果,我們目前有 Q、K、V 三個矩陣分別為:
Q =
[ 1 2 2
0 2 1
2 2 3 ]
K =
[ 0 4 2
1 4 3
1 0 1 ]
V =
[ 1 2 2
2 8 6
3 0 3 ]
接著計算 KT Q 得到 A:
A = K.transpose() @ Q
A = [ 2 4 4
4 16 12
4 12 10 ]