付費限定

三分鐘內由上帝視角理解Positional Encoding

無限智慧學院-avatar-img
無限智慧學院
發佈於人工智慧宇宙
更新 發佈閱讀 5 分鐘

相信有不少人在剛接觸Attention is all you need這篇論文的時候，最感到困惑的就是Positional Encoding，知道公式長怎樣，不外乎就是Cosine / Sine，但始終無法直搗黃龍，理解背後的道理，本文提供各種觀點，讓你三分鐘內搞懂!

核心理念:

世界上任何存在(實體存在/概念存在)都可以被Model(公式)映射成任意維度的向量，在人工智慧領域被稱為Embedding，可以寫成 [X0,X1,X2,...,Xn] ∈R1xn的形式。

任何兩個不同的實體存在，用同一套模型可以映射到各自的Embedding，彼此之間存在夾角θi，想像有無限多的向量和夾角 (Number

以行動支持創作者！付費即可解鎖
本篇內容共 2372 字、0 則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
無限智慧學院的沙龍人工智慧宇宙AI基礎知識
留言
avatar-img
留言分享你的想法！
avatar-img
無限智慧學院的沙龍
95會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
無限智慧學院的沙龍的其他內容
2023/12/02
三分鐘內由上帝視角理解LoRA，讓大模型成為達文西的秘訣
未來不管是Diffuser還是LLM的微調，都離不開LoRA這項技術，充分理解LoRA的本質是甚麼，CP值特別高。這項技術的理念其實在人工智慧領域行之有年，只是普遍沒有響亮的名字與非常痛的應用場合，在大模型參數量暴增的時刻，重要性被大幅凸顯出來。
Thumbnail
2023/12/02
三分鐘內由上帝視角理解LoRA，讓大模型成為達文西的秘訣
未來不管是Diffuser還是LLM的微調，都離不開LoRA這項技術，充分理解LoRA的本質是甚麼，CP值特別高。這項技術的理念其實在人工智慧領域行之有年，只是普遍沒有響亮的名字與非常痛的應用場合，在大模型參數量暴增的時刻，重要性被大幅凸顯出來。
Thumbnail
2023/11/06
三分鐘搞懂語言模型能力指標，Perplexity (困惑度)
如何評量一個大型語言模型有學到東西? 其中一個常用指標就是Perplexity(困惑度)。由於困惑度被大量論文引用，學習CP值很高，所以寫專文介紹。
Thumbnail
2023/11/06
三分鐘搞懂語言模型能力指標，Perplexity (困惑度)
如何評量一個大型語言模型有學到東西? 其中一個常用指標就是Perplexity(困惑度)。由於困惑度被大量論文引用，學習CP值很高，所以寫專文介紹。
Thumbnail
2023/11/02
從模型參數量與映射觀點出發，論證宇宙熱寂與大爆炸無限閉環假說
根據熱力學熵增鐵律，多數人認為宇宙會最終會進入熱寂(亂度散度最大化)，然後死去，但事實或許不然，一年有四季，日昇日落，大自然注定是生生不息，循環往復的，有鑑於近來大量閱讀AI關於模型與映射的概念，突然靈光乍現，想出了一套能讓宇宙生生不息的假說，讓我們一起來逐步論證!
Thumbnail
2023/11/02
從模型參數量與映射觀點出發，論證宇宙熱寂與大爆炸無限閉環假說
根據熱力學熵增鐵律，多數人認為宇宙會最終會進入熱寂(亂度散度最大化)，然後死去，但事實或許不然，一年有四季，日昇日落，大自然注定是生生不息，循環往復的，有鑑於近來大量閱讀AI關於模型與映射的概念，突然靈光乍現，想出了一套能讓宇宙生生不息的假說，讓我們一起來逐步論證!
Thumbnail
看更多
你可能也想看
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.6 Normalizing Vectors
本節介紹向量的正規化。
#python#Python#PYTHON
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.6 Normalizing Vectors
本節介紹向量的正規化。
#python#Python#PYTHON
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.5 Vector Magnitude
本節介紹向量長度的計算。
#python#Python#PYTHON
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.5 Vector Magnitude
本節介紹向量長度的計算。
#python#Python#PYTHON
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.2 Vectors in...
這一節談的是向量的定義，以及如何運用向量來建立模擬物體運動時，關於位置和速度間的關係式。
#python#Python#PYTHON
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.2 Vectors in...
這一節談的是向量的定義，以及如何運用向量來建立模擬物體運動時，關於位置和速度間的關係式。
#python#Python#PYTHON
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 036
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 五 特朗貝爾依循當時數學界對函數的普遍理解，視「函數」為任一分析式。 但這時的歐拉宣稱函數不必是正常意義下的
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 036
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 五 特朗貝爾依循當時數學界對函數的普遍理解，視「函數」為任一分析式。 但這時的歐拉宣稱函數不必是正常意義下的
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 029
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法  二 前面說過，牛頓關心的不是抽象的數學問題，他要解決的是天體運動的問題。他知道，假如他擁有該天體在任何一刻的瞬速數據，他便能夠從質量
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 029
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法  二 前面說過，牛頓關心的不是抽象的數學問題，他要解決的是天體運動的問題。他知道，假如他擁有該天體在任何一刻的瞬速數據，他便能夠從質量
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
螃蟹_crab的沙龍
[Python]導數與偏導數(學習心得)
直觀理解 導數：考慮的是單一變數的函數，描述的是函數在某點的斜率或變化率。 偏導數：考慮的是多變數函數，描述的是函數在某個變數變化時的變化率，其他變數保持不變。  (針對各維度的調整 或者稱變化 你要調多少) 應用 導數：在物理學中應用廣泛，例如描述速度和加速度。 偏導數：在多變量分析、優
#Python#導數與偏導數#導數
Thumbnail
avatar-avatar
螃蟹_crab的沙龍
[Python]導數與偏導數(學習心得)
直觀理解 導數：考慮的是單一變數的函數，描述的是函數在某點的斜率或變化率。 偏導數：考慮的是多變數函數，描述的是函數在某個變數變化時的變化率，其他變數保持不變。  (針對各維度的調整 或者稱變化 你要調多少) 應用 導數：在物理學中應用廣泛，例如描述速度和加速度。 偏導數：在多變量分析、優
#Python#導數與偏導數#導數
Thumbnail
avatar-avatar
小松鼠的演算法樂園
合縱連橫: 從區間和應用理解 前綴和 的本質
這篇文章，會帶著大家複習以前學過的前綴和框架， 並且以區間和的概念與應用為核心， 貫穿一些相關聯的題目，透過框架複現來幫助讀者理解這個演算法框架。 前綴和 prefix sum框架 與 區間和計算的關係式 接下來，我們會用這個上面這種框架，貫穿一些同類型，有關聯的題目 (請讀者、或觀眾
#python#leetcode#algorithm
Thumbnail
avatar-avatar
小松鼠的演算法樂園
合縱連橫: 從區間和應用理解 前綴和 的本質
這篇文章，會帶著大家複習以前學過的前綴和框架， 並且以區間和的概念與應用為核心， 貫穿一些相關聯的題目，透過框架複現來幫助讀者理解這個演算法框架。 前綴和 prefix sum框架 與 區間和計算的關係式 接下來，我們會用這個上面這種框架，貫穿一些同類型，有關聯的題目 (請讀者、或觀眾
#python#leetcode#algorithm
Thumbnail
avatar-avatar
無限智慧學院的沙龍
生成模型是不斷的宇宙大爆炸與熱寂循環，讀YaRN悟道
相信大家要能完全理解ROPE編碼與YaRN插值手法，需要較長的時間，導致收穫感沒有這麼強。算法背後其實隱含了宇宙自然運行的道理，旋轉位置編碼，最早的形式出現在古代中國易經，繞完一整圈表示一個階段的結束，預示下一個階段的開始。
#YaRN#ROPE#PositionalEncoding
Thumbnail
avatar-avatar
無限智慧學院的沙龍
生成模型是不斷的宇宙大爆炸與熱寂循環，讀YaRN悟道
相信大家要能完全理解ROPE編碼與YaRN插值手法，需要較長的時間，導致收穫感沒有這麼強。算法背後其實隱含了宇宙自然運行的道理，旋轉位置編碼，最早的形式出現在古代中國易經，繞完一整圈表示一個階段的結束，預示下一個階段的開始。
#YaRN#ROPE#PositionalEncoding
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News