我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 45，我們介紹了 Google 於2017 年提出的 Transformer 架構的 Positional Encoding (PE) 方法為 :
圖片出自：Transformers for Natural Language Processing and Computer Vision - Third Edition, Denis Rothman, 2024
可以看到 Sin 函數對應偶數位置，而 Cos 函數對應奇數位置，我們可能好奇這函數到底長得怎麼樣，有鑑於此，我們可以在 Google 瀏覽器中鍵入 : 「plot y=sin(2/10000^(2*x/512))」來追蹤位置 2 號 (pos = 2) 的圖形長怎麼樣。
如下所示 :
