付費限定文章

三分鐘內由上帝視角理解Positional Encoding

相信有不少人在剛接觸Attention is all you need這篇論文的時候，最感到困惑的就是Positional Encoding，知道公式長怎樣，不外乎就是Cosine / Sine，但始終無法直搗黃龍，理解背後的道理，本文提供各種觀點，讓你三分鐘內搞懂!

核心理念:

世界上任何存在(實體存在/概念存在)都可以被Model(公式)映射成任意維度的向量，在人工智慧領域被稱為Embedding，可以寫成 [X₀,X₁,X₂,...,X_n] ∈R^1xn的形式。

任何兩個不同的實體存在，用同一套模型可以映射到各自的Embedding，彼此之間存在夾角θ_i，想像有無限多的向量和夾角 (Number