付費限定

三分鐘內由上帝視角理解Positional Encoding

無限智慧學院-avatar-img
無限智慧學院
發佈於人工智慧宇宙
更新 發佈閱讀 5 分鐘

相信有不少人在剛接觸Attention is all you need這篇論文的時候，最感到困惑的就是Positional Encoding，知道公式長怎樣，不外乎就是Cosine / Sine，但始終無法直搗黃龍，理解背後的道理，本文提供各種觀點，讓你三分鐘內搞懂!

核心理念:

世界上任何存在(實體存在/概念存在)都可以被Model(公式)映射成任意維度的向量，在人工智慧領域被稱為Embedding，可以寫成 [X0,X1,X2,...,Xn] ∈R1xn的形式。

任何兩個不同的實體存在，用同一套模型可以映射到各自的Embedding，彼此之間存在夾角θi，想像有無限多的向量和夾角 (Number

以行動支持創作者！付費即可解鎖
本篇內容共 2372 字、0 則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
無限智慧學院的沙龍人工智慧宇宙AI基礎知識
留言
avatar-img
無限智慧學院的沙龍
96會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
無限智慧學院的沙龍的其他內容
2023/12/02
三分鐘內由上帝視角理解LoRA，讓大模型成為達文西的秘訣
未來不管是Diffuser還是LLM的微調，都離不開LoRA這項技術，充分理解LoRA的本質是甚麼，CP值特別高。這項技術的理念其實在人工智慧領域行之有年，只是普遍沒有響亮的名字與非常痛的應用場合，在大模型參數量暴增的時刻，重要性被大幅凸顯出來。
Thumbnail
2023/12/02
三分鐘內由上帝視角理解LoRA，讓大模型成為達文西的秘訣
未來不管是Diffuser還是LLM的微調，都離不開LoRA這項技術，充分理解LoRA的本質是甚麼，CP值特別高。這項技術的理念其實在人工智慧領域行之有年，只是普遍沒有響亮的名字與非常痛的應用場合，在大模型參數量暴增的時刻，重要性被大幅凸顯出來。
Thumbnail
2023/11/06
三分鐘搞懂語言模型能力指標，Perplexity (困惑度)
如何評量一個大型語言模型有學到東西? 其中一個常用指標就是Perplexity(困惑度)。由於困惑度被大量論文引用，學習CP值很高，所以寫專文介紹。
Thumbnail
2023/11/06
三分鐘搞懂語言模型能力指標，Perplexity (困惑度)
如何評量一個大型語言模型有學到東西? 其中一個常用指標就是Perplexity(困惑度)。由於困惑度被大量論文引用，學習CP值很高，所以寫專文介紹。
Thumbnail
2023/11/02
從模型參數量與映射觀點出發，論證宇宙熱寂與大爆炸無限閉環假說
根據熱力學熵增鐵律，多數人認為宇宙會最終會進入熱寂(亂度散度最大化)，然後死去，但事實或許不然，一年有四季，日昇日落，大自然注定是生生不息，循環往復的，有鑑於近來大量閱讀AI關於模型與映射的概念，突然靈光乍現，想出了一套能讓宇宙生生不息的假說，讓我們一起來逐步論證!
Thumbnail
2023/11/02
從模型參數量與映射觀點出發，論證宇宙熱寂與大爆炸無限閉環假說
根據熱力學熵增鐵律，多數人認為宇宙會最終會進入熱寂(亂度散度最大化)，然後死去，但事實或許不然，一年有四季，日昇日落，大自然注定是生生不息，循環往復的，有鑑於近來大量閱讀AI關於模型與映射的概念，突然靈光乍現，想出了一套能讓宇宙生生不息的假說，讓我們一起來逐步論證!
Thumbnail
看更多
你可能也想看
Thumbnail
avatar-avatar
方格子 vocus 官方沙龍
vocus App 正式推出｜立即下載 iOS 版，打開全新內容宇宙
在 vocus 與你一起探索內容、發掘靈感的路上，我們又將啟動新的冒險——vocus App 正式推出！ 現在起，你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔，或一天結束後的放鬆時刻，都能自在沈浸在內容宇宙中。
#App#iOS#App Store
Thumbnail
avatar-avatar
方格子 vocus 官方沙龍
vocus App 正式推出｜立即下載 iOS 版，打開全新內容宇宙
在 vocus 與你一起探索內容、發掘靈感的路上，我們又將啟動新的冒險——vocus App 正式推出！ 現在起，你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔，或一天結束後的放鬆時刻，都能自在沈浸在內容宇宙中。
#App#iOS#App Store
Thumbnail
avatar-avatar
小P趨勢投資
小P觀察｜一籃子vs單壓個股: 以00858永豐美國500大為例
市場經驗拉長之後，很多投資人都會遇到同一個問題：不是方向看錯，而是部位太集中個股，常常跟大趨勢脫節。 早年的台股環境，中小股非常吃香，反而權值股不動，但QE量化寬鬆後，特別是疫情之後，後疫情時代，鈔票大量在股市走動，這些大資金只能往權值股走，因此早年小P的策略偏向中小型個股，但近年AI興起，高技術
#投資人#ETF#權值股
Thumbnail
avatar-avatar
小P趨勢投資
小P觀察｜一籃子vs單壓個股: 以00858永豐美國500大為例
市場經驗拉長之後，很多投資人都會遇到同一個問題：不是方向看錯，而是部位太集中個股，常常跟大趨勢脫節。 早年的台股環境，中小股非常吃香，反而權值股不動，但QE量化寬鬆後，特別是疫情之後，後疫情時代，鈔票大量在股市走動，這些大資金只能往權值股走，因此早年小P的策略偏向中小型個股，但近年AI興起，高技術
#投資人#ETF#權值股
Thumbnail
avatar-avatar
方格子 vocus 官方沙龍
【 vocus 全站慶，更好的 2026 上線了！】折扣碼 x 抽紅包 x 新手禮 x App 登場！
vocus 慶祝推出 App，舉辦 2026 全站慶。推出精選內容與數位商品折扣，訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包，以及全站徵文，並邀請你一起來回顧過去的一年， vocus 與創作者共同留下了哪些精彩創作。
#vocus#2026#vocus2026
Thumbnail
avatar-avatar
方格子 vocus 官方沙龍
【 vocus 全站慶，更好的 2026 上線了！】折扣碼 x 抽紅包 x 新手禮 x App 登場！
vocus 慶祝推出 App，舉辦 2026 全站慶。推出精選內容與數位商品折扣，訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包，以及全站徵文，並邀請你一起來回顧過去的一年， vocus 與創作者共同留下了哪些精彩創作。
#vocus#2026#vocus2026
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.6 Normalizing Vectors
本節介紹向量的正規化。
#python#Python#PYTHON
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.6 Normalizing Vectors
本節介紹向量的正規化。
#python#Python#PYTHON
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.5 Vector Magnitude
本節介紹向量長度的計算。
#python#Python#PYTHON
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.5 Vector Magnitude
本節介紹向量長度的計算。
#python#Python#PYTHON
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.2 Vectors in...
這一節談的是向量的定義，以及如何運用向量來建立模擬物體運動時，關於位置和速度間的關係式。
#python#Python#PYTHON
Thumbnail
avatar-avatar
ysf的沙龍
The Nature of Code閱讀心得與Python實作：1.2 Vectors in...
這一節談的是向量的定義，以及如何運用向量來建立模擬物體運動時，關於位置和速度間的關係式。
#python#Python#PYTHON
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 036
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 五 特朗貝爾依循當時數學界對函數的普遍理解，視「函數」為任一分析式。 但這時的歐拉宣稱函數不必是正常意義下的
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 036
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 五 特朗貝爾依循當時數學界對函數的普遍理解，視「函數」為任一分析式。 但這時的歐拉宣稱函數不必是正常意義下的
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 029
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法  二 前面說過，牛頓關心的不是抽象的數學問題，他要解決的是天體運動的問題。他知道，假如他擁有該天體在任何一刻的瞬速數據，他便能夠從質量
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 029
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法  二 前面說過，牛頓關心的不是抽象的數學問題，他要解決的是天體運動的問題。他知道，假如他擁有該天體在任何一刻的瞬速數據，他便能夠從質量
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
螃蟹_crab的沙龍
[Python]導數與偏導數(學習心得)
直觀理解 導數：考慮的是單一變數的函數，描述的是函數在某點的斜率或變化率。 偏導數：考慮的是多變數函數，描述的是函數在某個變數變化時的變化率，其他變數保持不變。  (針對各維度的調整 或者稱變化 你要調多少) 應用 導數：在物理學中應用廣泛，例如描述速度和加速度。 偏導數：在多變量分析、優
#Python#導數與偏導數#導數
Thumbnail
avatar-avatar
螃蟹_crab的沙龍
[Python]導數與偏導數(學習心得)
直觀理解 導數：考慮的是單一變數的函數，描述的是函數在某點的斜率或變化率。 偏導數：考慮的是多變數函數，描述的是函數在某個變數變化時的變化率，其他變數保持不變。  (針對各維度的調整 或者稱變化 你要調多少) 應用 導數：在物理學中應用廣泛，例如描述速度和加速度。 偏導數：在多變量分析、優
#Python#導數與偏導數#導數
Thumbnail
avatar-avatar
小松鼠的演算法樂園
合縱連橫: 從區間和應用理解 前綴和 的本質
這篇文章，會帶著大家複習以前學過的前綴和框架， 並且以區間和的概念與應用為核心， 貫穿一些相關聯的題目，透過框架複現來幫助讀者理解這個演算法框架。 前綴和 prefix sum框架 與 區間和計算的關係式 接下來，我們會用這個上面這種框架，貫穿一些同類型，有關聯的題目 (請讀者、或觀眾
#python#leetcode#algorithm
Thumbnail
avatar-avatar
小松鼠的演算法樂園
合縱連橫: 從區間和應用理解 前綴和 的本質
這篇文章，會帶著大家複習以前學過的前綴和框架， 並且以區間和的概念與應用為核心， 貫穿一些相關聯的題目，透過框架複現來幫助讀者理解這個演算法框架。 前綴和 prefix sum框架 與 區間和計算的關係式 接下來，我們會用這個上面這種框架，貫穿一些同類型，有關聯的題目 (請讀者、或觀眾
#python#leetcode#algorithm
Thumbnail
avatar-avatar
無限智慧學院的沙龍
生成模型是不斷的宇宙大爆炸與熱寂循環，讀YaRN悟道
相信大家要能完全理解ROPE編碼與YaRN插值手法，需要較長的時間，導致收穫感沒有這麼強。算法背後其實隱含了宇宙自然運行的道理，旋轉位置編碼，最早的形式出現在古代中國易經，繞完一整圈表示一個階段的結束，預示下一個階段的開始。
#YaRN#ROPE#PositionalEncoding
Thumbnail
avatar-avatar
無限智慧學院的沙龍
生成模型是不斷的宇宙大爆炸與熱寂循環，讀YaRN悟道
相信大家要能完全理解ROPE編碼與YaRN插值手法，需要較長的時間，導致收穫感沒有這麼強。算法背後其實隱含了宇宙自然運行的道理，旋轉位置編碼，最早的形式出現在古代中國易經，繞完一整圈表示一個階段的結束，預示下一個階段的開始。
#YaRN#ROPE#PositionalEncoding
Thumbnail
avatar-avatar
無限智慧學院的沙龍
三分鐘內由上帝視角理解Positional Encoding
相信有不少人在剛接觸Attention is all you need這篇論文的時候，最感到困惑的就是Positional Encoding，知道公式長怎樣，不外乎就是Cosine / Sine，但始終無法直搗黃龍，理解背後的道理，本篇文提供各種觀點，讓你三分鐘內搞懂!
#上帝視角#三分鐘#PositionalEncoding
Thumbnail
avatar-avatar
無限智慧學院的沙龍
三分鐘內由上帝視角理解Positional Encoding
相信有不少人在剛接觸Attention is all you need這篇論文的時候，最感到困惑的就是Positional Encoding，知道公式長怎樣，不外乎就是Cosine / Sine，但始終無法直搗黃龍，理解背後的道理，本篇文提供各種觀點，讓你三分鐘內搞懂!
#上帝視角#三分鐘#PositionalEncoding
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News