我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
- Add 這個函數執行 Residual Connections
- 目的是希望輸入訊息不會遺失
- 這概念就是：隨著一個句子的輸入 AI，但是它可能會忘記前面的字，因此我乾脆把輸入訊息再灌進去一次，這樣就比較不會忘記
接著來看 Norm 這個函數要做什麼事，首先回想 AI說書 - 從0開始 - 63 說在原始 Google 釋出的 Transformer 論文，在 Multi-Head Attention 之後的輸出維度將是 3 x 512 ，這個 3 是我現在假設輸入句子有三個字。
現在針對每個字的 512 維度向量，我要經過 Norm 函數，更具體來說是 Layer Normalization 函數，其作法是，輸入一個向量，輸出一樣是一個向量，且維度相同，只是中間的元素經過一些數學調整，數學運作式為：
圖片取自：台大電機 李宏毅教授的課程
- 這是 Layer Normalization 的運作說明
- 計算向量 x 內元素的均值，記為 m
- 計算向量 x 內元素的標準差，記為 Sigma
- 針對向量 x 內每個元素，均執行：減去 m ，除上 Sigma 的動作
- 上述做完之後將得到一個向量 x'
- 這個 x' 可以乘上一個 Scaling 參數
- 乘上 Scaling 參數後的 x' 可以再加上一個 Bias 向量
