付費限定讓Mistral 7B搞定長序列128K (e.g.雜誌)，使用YaRN插值改良手法
avatar-img
無限智慧學院的沙龍
付費限定

讓Mistral 7B搞定長序列128K (e.g.雜誌)，使用YaRN插值改良手法

無限智慧學院-avatar-img
無限智慧學院
發佈於人工智慧宇宙
更新於 發佈於 閱讀時間約 11 分鐘

前言:

本篇精選熱點論文，基於ROPE(Rotary Position Embeddings)改善插值方式，讓模型可以在短序列(4K Tokens)進行訓練，接著在長序列(128K Tokens)僅做少數微調，甚至無須微調，就能達到泛化到極長輸入序列的能力，讓Context Window可以吞下一整本雜誌，生成困惑度足夠小的內容!

在寫這篇的同時Chatgpt4-turbo宣布能將輸入序列長度擴增到128K，應該有用到本篇所提出的方法，此方法使得LLM的效能還有應用彈性極大化，需要好好的學習一下。

論文與開源模型:

YaRN: Efficient Context Window Extension of

以行動支持創作者！付費即可解鎖
本篇內容共 4794 字、0 則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
無限智慧學院的沙龍人工智慧宇宙AI論文詳解
avatar-img
無限智慧學院的沙龍
95會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
留言
avatar-img
留言分享你的想法！
無限智慧學院的沙龍 的其他內容
Mask-LM 生成影片能力趨近完美 with MAGVIT-V2 by Google & CMU Yu et al.
這次要介紹的這篇，使用Mask-LM的生成方式，可以達到最頂尖的FID/FVD分數，取得超越Diffusion Model的生成品質，並兼顧了生成速度，讓我們一起從MAGVIT開始，逐步理解到MAGVIT-V2，相信能讓對於最新影像生成領域有興趣的讀者，感到收穫滿滿。
#MAGVIT#MAGVITv2#MASKLM
快速準確AI預測全球天氣 with GraphCast by Google Research Lam et al.
對於天氣的精密掌握，不僅得以改善各種生存條件，還能藉此訂定各種軍事策略，對於各種地緣政治紛爭的此刻，有其重大意義，於是各國對於快速準確的天氣預測技術，皆十分有興趣。本文介紹Google Research 的研究利用AI來預測天氣，誤差可以勝過傳統超級計算機的估算，讓我們一起看看是怎麼做到的。
#天氣預測模型#人工智慧預測天氣#GraphCast
緊湊型神經網路壓縮技術 for NeRF by Nvidia Takikawa et al.
隨著生成式AI不斷的推陳出新，對於能有效壓縮這些豐富且大量內容的技術，變得至關重要，影響著傳輸速度與執行速度，本文的壓縮架構，能夠有效地做成專用IC，在同樣的畫質水準下，甚至能夠達成JPEG 1/3的壓縮後容量，此方法可應用在各種3D NeRF生成作品上面，各種VR與3D生成技術都必然會用到。
#NeRF#緊湊型神經網路壓縮#Nvidia
Mask-LM 生成影片能力趨近完美 with MAGVIT-V2 by Google & CMU Yu et al.
這次要介紹的這篇，使用Mask-LM的生成方式，可以達到最頂尖的FID/FVD分數，取得超越Diffusion Model的生成品質，並兼顧了生成速度，讓我們一起從MAGVIT開始，逐步理解到MAGVIT-V2，相信能讓對於最新影像生成領域有興趣的讀者，感到收穫滿滿。
#MAGVIT#MAGVITv2#MASKLM
快速準確AI預測全球天氣 with GraphCast by Google Research Lam et al.
對於天氣的精密掌握，不僅得以改善各種生存條件，還能藉此訂定各種軍事策略，對於各種地緣政治紛爭的此刻，有其重大意義，於是各國對於快速準確的天氣預測技術，皆十分有興趣。本文介紹Google Research 的研究利用AI來預測天氣，誤差可以勝過傳統超級計算機的估算，讓我們一起看看是怎麼做到的。
#天氣預測模型#人工智慧預測天氣#GraphCast
緊湊型神經網路壓縮技術 for NeRF by Nvidia Takikawa et al.
隨著生成式AI不斷的推陳出新，對於能有效壓縮這些豐富且大量內容的技術，變得至關重要，影響著傳輸速度與執行速度，本文的壓縮架構，能夠有效地做成專用IC，在同樣的畫質水準下，甚至能夠達成JPEG 1/3的壓縮後容量，此方法可應用在各種3D NeRF生成作品上面，各種VR與3D生成技術都必然會用到。
#NeRF#緊湊型神經網路壓縮#Nvidia