我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
這裡做 Embedding 與 Postional Encoding 的邏輯梳理與結論：
- Embedding 訓練方式：AI說書 - 從0開始 - 43
- Embedding 結果呈現：AI說書 - 從0開始 - 44
- Positional Encoding 功能介紹：AI說書 - 從0開始 - 45
- Positional Encoding 畫圖感受：AI說書 - 從0開始 - 46
- Positional Encoding 實際計算：AI說書 - 從0開始 - 47
- Embedding 與 Positional Encoding 的相似度比較：AI說書 - 從0開始 - 48
- Embedding 與 Positional Encoding 的合成方式：AI說書 - 從0開始 - 49
以「The black cat sat on the couch and the brown dog slept on the rug」為例子：
- 在 AI說書 - 從0開始 - 44 計算「black」與「brown」的 Embedding 相似度為：0.9998901
- 在 AI說書 - 從0開始 - 48 計算「black」與「brown」的 Positional Encoding 相似度為：0.8600013
- 在 AI說書 - 從0開始 - 49 給出每個字對應的 Embedding 與 Positional Encoding 的合成方式，那自然我能針對「black」與「brown」的合成結果，計算其相似度，其結果為：0.9627094
因此結論如下：
- 針對一段句子中的每個字，我們都把它轉成相同維度的 Embedding ，可能不同字，但皆屬於相同屬性，例如顏色、動物等等，造成它們的 Embedding 相似度很高
- 縱然不同字卻有相同屬性，但卻有個天然屬性把這兩個字做區別，那就是字的位置，因此額外引入 Positional Encoding 來製造差異，這樣可以創造一個相似度較低的 Positional Encoding 向量內積結果
- 上述兩特徵都是描繪一段話的精華特性，因此 Embedding 與 Positional Encoding 需要做有效的結合，注意這兩個向量維度相同，結合方式如 AI說書 - 從0開始 - 49 所述