付費限定
三分鐘內由上帝視角理解Positional Encoding
相信有不少人在剛接觸Attention is all you need這篇論文的時候，最感到困惑的就是Positional Encoding，知道公式長怎樣，不外乎就是Cosine / Sine，但始終無法直搗黃龍，理解背後的道理，本文提供各種觀點，讓你三分鐘內搞懂!
核心理念:
世界上任何存在(實體存在/概念存在)都可以被Model(公式)映射成任意維度的向量，在人工智慧領域被稱為Embedding，可以寫成 [X0,X1,X2,...,Xn] ∈R1xn的形式。
任何兩個不同的實體存在，用同一套模型可以映射到各自的Embedding，彼此之間存在夾角θi，想像有無限多的向量和夾角 (Number
以行動支持創作者！付費即可解鎖
本篇內容共 2372 字、0
則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
95會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
留言0
查看全部
你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
仔細看 AI說書 - 從0開始 - 66 中，Decoder 的 Multi-Head Attention 框框，會發現有一條線空接，其實它是有意義的，之所以空接，是因
這一節談的是向量的定義，以及如何運用向量來建立模擬物體運動時，關於位置和速度間的關係式。
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
二
前面說過，牛頓關心的不是抽象的數學問題，他要解決的是天體運動的問題。他知道，假如他擁有該天體在任何一刻的瞬速數據，他便能夠從質量
這篇文章，會帶著大家複習以前學過的前綴和框架，
並且以區間和的概念與應用為核心，
貫穿一些相關聯的題目，透過框架複現來幫助讀者理解這個演算法框架。
前綴和 prefix sum框架 與 區間和計算的關係式
接下來，我們會用這個上面這種框架，貫穿一些同類型，有關聯的題目
(請讀者、或觀眾
「COS 餘弦定理，兩條線之間，總是夾雜著一個微妙的角度。看似各退一步的距離，彼此的專屬默契，卻在不知不覺中印照著第三條線的樣貌。而這樣貌像是愛情。」
-------------------------
有人說要對一個人的臉有印象起碼要見超過五次，偏偏我是天生臉盲，但開始注意到
找出區間[1, n] 內的軸心點位置。通過介紹直覺法、改良直覺法和二分搜尋等算法，最終給出了解析解（推導軸心點的公式解），提供了對應的程式碼和參考資料。該問題的最優解是使用解析解，能夠在O(1)的時間複雜度內找到答案。
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
仔細看 AI說書 - 從0開始 - 66 中，Decoder 的 Multi-Head Attention 框框，會發現有一條線空接，其實它是有意義的，之所以空接，是因
這一節談的是向量的定義，以及如何運用向量來建立模擬物體運動時，關於位置和速度間的關係式。
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
二
前面說過，牛頓關心的不是抽象的數學問題，他要解決的是天體運動的問題。他知道，假如他擁有該天體在任何一刻的瞬速數據，他便能夠從質量
這篇文章，會帶著大家複習以前學過的前綴和框架，
並且以區間和的概念與應用為核心，
貫穿一些相關聯的題目，透過框架複現來幫助讀者理解這個演算法框架。
前綴和 prefix sum框架 與 區間和計算的關係式
接下來，我們會用這個上面這種框架，貫穿一些同類型，有關聯的題目
(請讀者、或觀眾
「COS 餘弦定理，兩條線之間，總是夾雜著一個微妙的角度。看似各退一步的距離，彼此的專屬默契，卻在不知不覺中印照著第三條線的樣貌。而這樣貌像是愛情。」
-------------------------
有人說要對一個人的臉有印象起碼要見超過五次，偏偏我是天生臉盲，但開始注意到
找出區間[1, n] 內的軸心點位置。通過介紹直覺法、改良直覺法和二分搜尋等算法，最終給出了解析解（推導軸心點的公式解），提供了對應的程式碼和參考資料。該問題的最優解是使用解析解，能夠在O(1)的時間複雜度內找到答案。