付費限定
三分鐘內由上帝視角理解Positional Encoding
閱讀時間約 5 分鐘
相信有不少人在剛接觸Attention is all you need這篇論文的時候，最感到困惑的就是Positional Encoding，知道公式長怎樣，不外乎就是Cosine / Sine，但始終無法直搗黃龍，理解背後的道理，本文提供各種觀點，讓你三分鐘內搞懂!
核心理念:
世界上任何存在(實體存在/概念存在)都可以被Model(公式)映射成任意維度的向量，在人工智慧領域被稱為Embedding，可以寫成 [X0,X1,X2,...,Xn] ∈R1xn的形式。
任何兩個不同的實體存在，用同一套模型可以映射到各自的Embedding，彼此之間存在夾角θi，想像有無限多的向量和夾角 (Number
以行動支持創作者！付費即可解鎖
本篇內容共 2372 字、0
則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
95會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
留言0
查看全部
你可能也想看
Google News 追蹤
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
仔細看 AI說書 - 從0開始 - 66 中，Decoder 的 Multi-Head Attention 框框，會發現有一條線空接，其實它是有意義的，之所以空接，是因
這一節談的是向量的定義，以及如何運用向量來建立模擬物體運動時，關於位置和速度間的關係式。
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
二
前面說過，牛頓關心的不是抽象的數學問題，他要解決的是天體運動的問題。他知道，假如他擁有該天體在任何一刻的瞬速數據，他便能夠從質量
這篇文章，會帶著大家複習以前學過的前綴和框架，
並且以區間和的概念與應用為核心，
貫穿一些相關聯的題目，透過框架複現來幫助讀者理解這個演算法框架。
前綴和 prefix sum框架 與 區間和計算的關係式
接下來，我們會用這個上面這種框架，貫穿一些同類型，有關聯的題目
(請讀者、或觀眾
「COS 餘弦定理，兩條線之間，總是夾雜著一個微妙的角度。看似各退一步的距離，彼此的專屬默契，卻在不知不覺中印照著第三條線的樣貌。而這樣貌像是愛情。」
-------------------------
有人說要對一個人的臉有印象起碼要見超過五次，偏偏我是天生臉盲，但開始注意到
找出區間[1, n] 內的軸心點位置。通過介紹直覺法、改良直覺法和二分搜尋等算法，最終給出了解析解（推導軸心點的公式解），提供了對應的程式碼和參考資料。該問題的最優解是使用解析解，能夠在O(1)的時間複雜度內找到答案。
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
仔細看 AI說書 - 從0開始 - 66 中，Decoder 的 Multi-Head Attention 框框，會發現有一條線空接，其實它是有意義的，之所以空接，是因
這一節談的是向量的定義，以及如何運用向量來建立模擬物體運動時，關於位置和速度間的關係式。
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
二
前面說過，牛頓關心的不是抽象的數學問題，他要解決的是天體運動的問題。他知道，假如他擁有該天體在任何一刻的瞬速數據，他便能夠從質量
這篇文章，會帶著大家複習以前學過的前綴和框架，
並且以區間和的概念與應用為核心，
貫穿一些相關聯的題目，透過框架複現來幫助讀者理解這個演算法框架。
前綴和 prefix sum框架 與 區間和計算的關係式
接下來，我們會用這個上面這種框架，貫穿一些同類型，有關聯的題目
(請讀者、或觀眾
「COS 餘弦定理，兩條線之間，總是夾雜著一個微妙的角度。看似各退一步的距離，彼此的專屬默契，卻在不知不覺中印照著第三條線的樣貌。而這樣貌像是愛情。」
-------------------------
有人說要對一個人的臉有印象起碼要見超過五次，偏偏我是天生臉盲，但開始注意到
找出區間[1, n] 內的軸心點位置。通過介紹直覺法、改良直覺法和二分搜尋等算法，最終給出了解析解（推導軸心點的公式解），提供了對應的程式碼和參考資料。該問題的最優解是使用解析解，能夠在O(1)的時間複雜度內找到答案。