AI說書 - 從0開始 - 48

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們已經在 AI說書 - 從0開始 - 47 闡述完 Positional Encoding 的作法了，按照句子：「The black cat sat on the couch and the brown dog slept on the rug」為範例的話，則針對「black」與「brown」的 Positional Encoding 各別為：

要記住不管是哪一個字，我們都把這個字的對應位置，轉成維度為 512 的向量，既然是向量，我自然可以算它們的相似度，結果如下：

回顧 AI說書 - 從0開始 - 44 ，我們也曾經計算過「black」與「brown」這兩個字的 Embedding 相似度，其結果為：

這差異為何呢？ 分析如下：

• 「black」與「brown」都代表顏色，所以 Embedding 自然會相近，不過這和 Embedding 的訓練方法、訓練素材有關
• 「black」與「brown」都代表顏色，但是在一個句子中，它們出現的位置不會一樣，所以它們各自做成的 Positional Encoding 相似度自然會降低