付費限定

生成模型是不斷的宇宙大爆炸與熱寂循環,讀YaRN悟道

更新於 發佈於 閱讀時間約 6 分鐘

前言:

相信大家要能完全理解ROPE編碼與YaRN插值手法,需要較長的時間,導致收穫感沒有這麼強。算法背後其實隱含了宇宙自然運行的道理,旋轉位置編碼,最早的形式出現在古代中國易經,繞完一整圈表示一個階段的結束,預示下一個階段的開始。

本文嘗試透過深度延伸思考,讓你看完本篇能有所收穫。

問題描述:

  1. ROPE旋轉位置編碼的上帝視角是甚麼?
  2. 為什麼論文裡面十分重視,Token的長度要能到週長的長度(λd),讓角度從0度開始,走完整一圈 2𝝿 (360度) 這件事情?
讓讀者困惑度最大的部分!

讓讀者困惑度最大的部分!

ROPE旋轉編碼的上帝視角:

世界上任何概念集合都可以映射成數個向量∈R1xD,不同的向量之間彼此存在夾角,選定某一個向量為起始位置,則根據

以行動支持創作者!付費即可解鎖
本篇內容共 2620 字、0 則留言,僅發佈於人工智慧宇宙你目前無法檢視以下內容,可能因為尚未登入,或沒有該房間的查看權限。
avatar-img
95會員
128內容數
帶你用上帝視角,針對市面上具有高度價值的影片/論文/書籍,用東方取象,與西方邏輯辯證的角度同時出發,跟著我一起來探討宇宙萬事萬物的本質,隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷,近期對於人工智慧,東方易經,西方辯證邏輯,還有佛法向內求有深度興趣。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
本篇精選熱點論文,基於ROPE(Rotary Position Embeddings)改善插值方式,讓模型可以在短序列(4K Tokens)進行訓練,接著在長序列(128K Tokens)僅做少數微調,甚至無須微調,就能達到泛化到極長輸入序列的能力,模型可以吞下一整本雜誌,輸出困惑度表現也能夠維持!
如何評量一個大型語言模型有學到東西? 其中一個常用指標就是Perplexity(困惑度)。由於困惑度被大量論文引用,學習CP值很高,所以寫專文介紹。
相信替影片配字幕是許多人心中的痛,本文帶你在三分鐘內能夠用你的電腦,實做聲音轉字幕網站,準備好了就來吧!
根據熱力學熵增鐵律,多數人認為宇宙會最終會進入熱寂(亂度散度最大化),然後死去,但事實或許不然,一年有四季,日昇日落,大自然注定是生生不息,循環往復的,有鑑於近來大量閱讀AI關於模型與映射的概念,突然靈光乍現,想出了一套能讓宇宙生生不息的假說,讓我們一起來逐步論證!
相信有不少人在剛接觸Attention is all you need這篇論文的時候,最感到困惑的就是Positional Encoding,知道公式長怎樣,不外乎就是Cosine / Sine,但始終無法直搗黃龍,理解背後的道理,本篇文提供各種觀點,讓你三分鐘內搞懂!
已經有不只一位讀者請教我,人工智慧是否會造成大量失業的問題,於是催生了本篇文章,這裡會從多個角度來分析這件事情。
本篇精選熱點論文,基於ROPE(Rotary Position Embeddings)改善插值方式,讓模型可以在短序列(4K Tokens)進行訓練,接著在長序列(128K Tokens)僅做少數微調,甚至無須微調,就能達到泛化到極長輸入序列的能力,模型可以吞下一整本雜誌,輸出困惑度表現也能夠維持!
如何評量一個大型語言模型有學到東西? 其中一個常用指標就是Perplexity(困惑度)。由於困惑度被大量論文引用,學習CP值很高,所以寫專文介紹。
相信替影片配字幕是許多人心中的痛,本文帶你在三分鐘內能夠用你的電腦,實做聲音轉字幕網站,準備好了就來吧!
根據熱力學熵增鐵律,多數人認為宇宙會最終會進入熱寂(亂度散度最大化),然後死去,但事實或許不然,一年有四季,日昇日落,大自然注定是生生不息,循環往復的,有鑑於近來大量閱讀AI關於模型與映射的概念,突然靈光乍現,想出了一套能讓宇宙生生不息的假說,讓我們一起來逐步論證!
相信有不少人在剛接觸Attention is all you need這篇論文的時候,最感到困惑的就是Positional Encoding,知道公式長怎樣,不外乎就是Cosine / Sine,但始終無法直搗黃龍,理解背後的道理,本篇文提供各種觀點,讓你三分鐘內搞懂!
已經有不只一位讀者請教我,人工智慧是否會造成大量失業的問題,於是催生了本篇文章,這裡會從多個角度來分析這件事情。
你可能也想看
Google News 追蹤
Thumbnail
現代社會跟以前不同了,人人都有一支手機,只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行,然而如今科技快速發展之下,金融App無聲無息地進到你生活中。但同樣的,每一家銀行都有自己的App時,我們又該如何選擇呢?(本文係由國泰世華銀行邀約) 今天我會用不同角度帶大家看這款國泰世華CUB
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 1.2.6 熱的傳導 1.2.7 十九世紀的尾聲 三 必須說一下波希米亞數學家/邏輯學家/哲學家/神學
Thumbnail
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5弦的振動 1.2.6熱的傳導 二 傅立葉認為他的結果對任一函數皆有效,並將函數定義為 (FF) 在一般情況下,函數
Thumbnail
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 1.2.6 熱的傳導 一 偏微分方程始於公元十八世紀,在十九世紀茁長壯大。 隨著物理科學擴展越深 (理
Thumbnail
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5弦的振動 八 在關於振動弦通解的這場論爭之中,函數概念默默地向兩個方面推前了一大步。 一方面,特朗貝爾和歐拉等擴大了
Thumbnail
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法  二 前面說過,牛頓關心的不是抽象的數學問題,他要解決的是天體運動的問題。他知道,假如他擁有該天體在任何一刻的瞬速數據,他便能夠從質量
Thumbnail
在進入正題以前,某想先跟各位聊聊卜術的簡單脈絡,還有這套系統是怎麼來的。 卜術的來源可以追溯甚遠,從原始文明中的燒龜殼、羊骨(用艾草灼燒)開始,再來開始用蓍草對不對? 然而以理論化來說,一般我們則以《易經》當作起點,再到延伸出來的天書三式,也就是各位常聽到的太乙神數、奇門遁甲以及大六壬課。
一本天地之鑰解開你我千年修行迷惑 作者•太陽盛德 2019  天圓文化 ❍ ❍ ❍ ❍ ❍❍ ❍ ❍ ❍ ❍❍ ❍ 「行盡世間天下路,唯有修行不誤人」 天地間,個人是「小宇宙」,之外是「大宇宙」,兩者形成「回」字,我們在天地間扮演好自己的角色,就是「回歸本位」。所以我建議大家,把握
Thumbnail
編碼你的命運:從程式碼到塔羅牌,神秘的旅程 在世界的無邊無際中,每個生命都擁有自己的道路和命運。有些人相信我們的人生旅程是由宇宙的力量所規劃的,透過漫長的時間和空間軸線編織成的蓋世之作。 連結網址: https://sites.google.com/view/botstw-07
孩子,還記得那個緩緩向上的螺旋嗎?你們靈魂在成長的路徑,就是像這樣,在圓之中,慢慢地往你們規劃的路徑過去。在宇宙之中,在所有的層次當中,沒有所謂的往上,也沒有所謂的往下。這與你認知的,靈性的修行路上,或是靈魂成長的路上,或是人生的路上,任何你們形容自我成長的用語,都是可以相通的。有的時候你們以為你們
Thumbnail
過去未覺修,未得甚深禪定前,我也總認為,六道輪迴是一個真實存在的宇宙現象。 直到我長年閉關,才能在禪定中,悟到了六道輪迴的實相。 我還記,在定中悟到六道輪迴的實相,的那一個剎那,我頓時生起驚駭恐怖之心。 原來,這宇宙十法界中,最可怕的不是六道輪迴,而是那個,成就了六道輪迴,和讓我們被困於六
Thumbnail
現代社會跟以前不同了,人人都有一支手機,只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行,然而如今科技快速發展之下,金融App無聲無息地進到你生活中。但同樣的,每一家銀行都有自己的App時,我們又該如何選擇呢?(本文係由國泰世華銀行邀約) 今天我會用不同角度帶大家看這款國泰世華CUB
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 1.2.6 熱的傳導 1.2.7 十九世紀的尾聲 三 必須說一下波希米亞數學家/邏輯學家/哲學家/神學
Thumbnail
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5弦的振動 1.2.6熱的傳導 二 傅立葉認為他的結果對任一函數皆有效,並將函數定義為 (FF) 在一般情況下,函數
Thumbnail
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 1.2.6 熱的傳導 一 偏微分方程始於公元十八世紀,在十九世紀茁長壯大。 隨著物理科學擴展越深 (理
Thumbnail
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5弦的振動 八 在關於振動弦通解的這場論爭之中,函數概念默默地向兩個方面推前了一大步。 一方面,特朗貝爾和歐拉等擴大了
Thumbnail
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法  二 前面說過,牛頓關心的不是抽象的數學問題,他要解決的是天體運動的問題。他知道,假如他擁有該天體在任何一刻的瞬速數據,他便能夠從質量
Thumbnail
在進入正題以前,某想先跟各位聊聊卜術的簡單脈絡,還有這套系統是怎麼來的。 卜術的來源可以追溯甚遠,從原始文明中的燒龜殼、羊骨(用艾草灼燒)開始,再來開始用蓍草對不對? 然而以理論化來說,一般我們則以《易經》當作起點,再到延伸出來的天書三式,也就是各位常聽到的太乙神數、奇門遁甲以及大六壬課。
一本天地之鑰解開你我千年修行迷惑 作者•太陽盛德 2019  天圓文化 ❍ ❍ ❍ ❍ ❍❍ ❍ ❍ ❍ ❍❍ ❍ 「行盡世間天下路,唯有修行不誤人」 天地間,個人是「小宇宙」,之外是「大宇宙」,兩者形成「回」字,我們在天地間扮演好自己的角色,就是「回歸本位」。所以我建議大家,把握
Thumbnail
編碼你的命運:從程式碼到塔羅牌,神秘的旅程 在世界的無邊無際中,每個生命都擁有自己的道路和命運。有些人相信我們的人生旅程是由宇宙的力量所規劃的,透過漫長的時間和空間軸線編織成的蓋世之作。 連結網址: https://sites.google.com/view/botstw-07
孩子,還記得那個緩緩向上的螺旋嗎?你們靈魂在成長的路徑,就是像這樣,在圓之中,慢慢地往你們規劃的路徑過去。在宇宙之中,在所有的層次當中,沒有所謂的往上,也沒有所謂的往下。這與你認知的,靈性的修行路上,或是靈魂成長的路上,或是人生的路上,任何你們形容自我成長的用語,都是可以相通的。有的時候你們以為你們
Thumbnail
過去未覺修,未得甚深禪定前,我也總認為,六道輪迴是一個真實存在的宇宙現象。 直到我長年閉關,才能在禪定中,悟到了六道輪迴的實相。 我還記,在定中悟到六道輪迴的實相,的那一個剎那,我頓時生起驚駭恐怖之心。 原來,這宇宙十法界中,最可怕的不是六道輪迴,而是那個,成就了六道輪迴,和讓我們被困於六