付費限定

生成模型是不斷的宇宙大爆炸與熱寂循環，讀YaRN悟道

無限智慧學院-avatar-img
無限智慧學院
發佈於人工智慧宇宙
更新於 發佈於 閱讀時間約 6 分鐘

前言:

相信大家要能完全理解ROPE編碼與YaRN插值手法，需要較長的時間，導致收穫感沒有這麼強。算法背後其實隱含了宇宙自然運行的道理，旋轉位置編碼，最早的形式出現在古代中國易經，繞完一整圈表示一個階段的結束，預示下一個階段的開始。

本文嘗試透過深度延伸思考，讓你看完本篇能有所收穫。

問題描述:

  1. ROPE旋轉位置編碼的上帝視角是甚麼?
  2. 為什麼論文裡面十分重視，Token的長度要能到週長的長度(λd)，讓角度從0度開始，走完整一圈 2𝝿 (360度) 這件事情?
讓讀者困惑度最大的部分!

讓讀者困惑度最大的部分!

ROPE旋轉編碼的上帝視角:

世界上任何概念集合都可以映射成數個向量∈R1xD，不同的向量之間彼此存在夾角，選定某一個向量為起始位置，則根據

以行動支持創作者！付費即可解鎖
本篇內容共 2620 字、0 則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
無限智慧學院的沙龍人工智慧宇宙AI論文詳解
留言
avatar-img
留言分享你的想法！
avatar-img
無限智慧學院的沙龍
95會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
無限智慧學院的沙龍的其他內容
2024/02/28
Mask-LM 生成影片能力趨近完美 with MAGVIT-V2 by Google & CMU Yu et al.
這次要介紹的這篇，使用Mask-LM的生成方式，可以達到最頂尖的FID/FVD分數，取得超越Diffusion Model的生成品質，並兼顧了生成速度，讓我們一起從MAGVIT開始，逐步理解到MAGVIT-V2，相信能讓對於最新影像生成領域有興趣的讀者，感到收穫滿滿。
Thumbnail
2024/02/28
Mask-LM 生成影片能力趨近完美 with MAGVIT-V2 by Google & CMU Yu et al.
這次要介紹的這篇，使用Mask-LM的生成方式，可以達到最頂尖的FID/FVD分數，取得超越Diffusion Model的生成品質，並兼顧了生成速度，讓我們一起從MAGVIT開始，逐步理解到MAGVIT-V2，相信能讓對於最新影像生成領域有興趣的讀者，感到收穫滿滿。
Thumbnail
2024/02/20
快速準確AI預測全球天氣 with GraphCast by Google Research Lam et al.
對於天氣的精密掌握，不僅得以改善各種生存條件，還能藉此訂定各種軍事策略，對於各種地緣政治紛爭的此刻，有其重大意義，於是各國對於快速準確的天氣預測技術，皆十分有興趣。本文介紹Google Research 的研究利用AI來預測天氣，誤差可以勝過傳統超級計算機的估算，讓我們一起看看是怎麼做到的。
Thumbnail
2024/02/20
快速準確AI預測全球天氣 with GraphCast by Google Research Lam et al.
對於天氣的精密掌握，不僅得以改善各種生存條件，還能藉此訂定各種軍事策略，對於各種地緣政治紛爭的此刻，有其重大意義，於是各國對於快速準確的天氣預測技術，皆十分有興趣。本文介紹Google Research 的研究利用AI來預測天氣，誤差可以勝過傳統超級計算機的估算，讓我們一起看看是怎麼做到的。
Thumbnail
2024/02/10
緊湊型神經網路壓縮技術 for NeRF by Nvidia Takikawa et al.
隨著生成式AI不斷的推陳出新，對於能有效壓縮這些豐富且大量內容的技術，變得至關重要，影響著傳輸速度與執行速度，本文的壓縮架構，能夠有效地做成專用IC，在同樣的畫質水準下，甚至能夠達成JPEG 1/3的壓縮後容量，此方法可應用在各種3D NeRF生成作品上面，各種VR與3D生成技術都必然會用到。
Thumbnail
2024/02/10
緊湊型神經網路壓縮技術 for NeRF by Nvidia Takikawa et al.
隨著生成式AI不斷的推陳出新，對於能有效壓縮這些豐富且大量內容的技術，變得至關重要，影響著傳輸速度與執行速度，本文的壓縮架構，能夠有效地做成專用IC，在同樣的畫質水準下，甚至能夠達成JPEG 1/3的壓縮後容量，此方法可應用在各種3D NeRF生成作品上面，各種VR與3D生成技術都必然會用到。
Thumbnail
看更多
你可能也想看
Thumbnail
avatar-avatar
黛•Adele的生活隨筆
斜槓生活日常｜不受時間空間限制，分享喜歡的產品也能有被動收入｜蝦皮分潤計畫
常常被朋友問「哪裡買的？」嗎？透過蝦皮分潤計畫，把日常購物的分享多加一個步驟，就能轉換成現金回饋。門檻低、申請簡單，特別適合學生與上班族，讓零碎時間也能創造小確幸。
#蝦皮分潤計畫#蝦皮聯盟行銷#蝦皮副業
Thumbnail
avatar-avatar
黛•Adele的生活隨筆
斜槓生活日常｜不受時間空間限制，分享喜歡的產品也能有被動收入｜蝦皮分潤計畫
常常被朋友問「哪裡買的？」嗎？透過蝦皮分潤計畫，把日常購物的分享多加一個步驟，就能轉換成現金回饋。門檻低、申請簡單，特別適合學生與上班族，讓零碎時間也能創造小確幸。
#蝦皮分潤計畫#蝦皮聯盟行銷#蝦皮副業
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 044
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 1.2.6 熱的傳導 1.2.7 十九世紀的尾聲 三 必須說一下波希米亞數學家/邏輯學家/哲學家/神學
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 044
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 1.2.6 熱的傳導 1.2.7 十九世紀的尾聲 三 必須說一下波希米亞數學家/邏輯學家/哲學家/神學
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 042
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 1.2.6 熱的傳導 1.2.7 十九世紀的尾聲 一 函數概念的發展不可能終結，踏入公元廿一世紀，數學
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 042
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 1.2.6 熱的傳導 1.2.7 十九世紀的尾聲 一 函數概念的發展不可能終結，踏入公元廿一世紀，數學
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 041
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5弦的振動 1.2.6熱的傳導 二 傅立葉認為他的結果對任一函數皆有效，並將函數定義為 (FF) 在一般情況下，函數
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 041
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5弦的振動 1.2.6熱的傳導 二 傅立葉認為他的結果對任一函數皆有效，並將函數定義為 (FF) 在一般情況下，函數
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 040
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 1.2.6 熱的傳導 一 偏微分方程始於公元十八世紀，在十九世紀茁長壯大。 隨著物理科學擴展越深 (理
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 040
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5 弦的振動 1.2.6 熱的傳導 一 偏微分方程始於公元十八世紀，在十九世紀茁長壯大。 隨著物理科學擴展越深 (理
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 039
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5弦的振動 八 在關於振動弦通解的這場論爭之中，函數概念默默地向兩個方面推前了一大步。 一方面，特朗貝爾和歐拉等擴大了
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 039
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5弦的振動 八 在關於振動弦通解的這場論爭之中，函數概念默默地向兩個方面推前了一大步。 一方面，特朗貝爾和歐拉等擴大了
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 038
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5弦的振動  七 雖然論爭沒有得出任何定論，但對函數概念的演化卻影嚮頗深。 在這次歷時多年的論爭中，函數概念得以擴大而包括
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 038
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法 1.2.5弦的振動  七 雖然論爭沒有得出任何定論，但對函數概念的演化卻影嚮頗深。 在這次歷時多年的論爭中，函數概念得以擴大而包括
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 029
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法  二 前面說過，牛頓關心的不是抽象的數學問題，他要解決的是天體運動的問題。他知道，假如他擁有該天體在任何一刻的瞬速數據，他便能夠從質量
#哲學#邏輯學#語言學
Thumbnail
avatar-avatar
sen的沙龍
上古漢語的邏輯結構 029
1.0 從函數到函算語法 1.2 函數概念小史 1.2.1 中譯的來源 1.2.2 一個速度問題 1.2.3 幾何的方法 1.2.4 微積分的記法  二 前面說過，牛頓關心的不是抽象的數學問題，他要解決的是天體運動的問題。他知道，假如他擁有該天體在任何一刻的瞬速數據，他便能夠從質量
#哲學#邏輯學#語言學
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News