付費限定
讓Mistral 7B搞定長序列128K (e.g.雜誌)，使用YaRN插值改良手法
閱讀時間約 11 分鐘
前言:
本篇精選熱點論文，基於ROPE(Rotary Position Embeddings)改善插值方式，讓模型可以在短序列(4K Tokens)進行訓練，接著在長序列(128K Tokens)僅做少數微調，甚至無須微調，就能達到泛化到極長輸入序列的能力，讓Context Window可以吞下一整本雜誌，生成困惑度足夠小的內容!
在寫這篇的同時Chatgpt4-turbo宣布能將輸入序列長度擴增到128K，應該有用到本篇所提出的方法，此方法使得LLM的效能還有應用彈性極大化，需要好好的學習一下。
論文與開源模型:
YaRN: Efficient Context Window Extension of
以行動支持創作者！付費即可解鎖
本篇內容共 4794 字、0
則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
96會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
在現代職場中，兼具軟硬實力是提升競爭力的關鍵。硬實力是完成任務所需的專業知識和技能，而軟實力則涉及個人特質和行為表現。本文探討如何透過學校學習、工作經驗及性格優勢來培養這兩種能力，並提供建議讓求職者能夠在未來職涯中發光發熱。
有一次跟女兒、兒子在聊天的時候，就聽到女兒很對兒子說：「弟弟你小時候比較不常被媽媽打，而不像我小時候，考試若粗心的時候就會被媽媽打。」
我說因為你是我的第一個孩子，我也沒有經驗，所以就只能照書養。而弟弟出生後，因為有經驗了，所以就照豬養。這個真的對你非常的抱歉，希望你能夠諒解媽媽的好意。
在快節奏的生活中，瑜珈成為了許多人心靈與身體的避風港。每一次舒展，每一次深呼吸，都讓人感受到獨特的放鬆與平靜。然而，練習瑜珈的關鍵之一，除了良好的心態和體驗，還有一個不容忽視的因素——你的瑜珈墊。清潔和保養瑜珈墊不僅能提升它的使用壽命，還能讓每一次的練習都充滿清新感和舒適度。
在台灣的農場和倉庫中，鳥類常常會成為一個令人困擾的問題。它們不僅會帶來鳥糞污染環境，還可能對存放在倉庫內的物品造成損壞。因此，了解如何有效地驅趕鳥類是非常重要的。在這篇文章中，我們將介紹一些可靠的方法，幫助您保持農場和倉庫的環境乾淨整潔，遠離鳥類的干擾。
潤米咨詢創始人劉潤如期舉辦年度演講“進化的力量”。面對難題，創業者需要保持強大的心力來支撐自己不斷前行。激發團隊的內驅力，可以由外而內，從關注行為、關注過程開始，掌握團隊的動機和目標，帶領大家拿下一場場小勝利，以成果激發團隊的成就感、滿足感，從而實現從外部激勵刺激到內在價值感建立，喚醒真正的內驅力
B群維生素是我們健康的不可或缺的一部分，但在選購B群保健品時，如何挑選適合的產品呢？今天我要分享3個B群推薦原則，讓你能夠補充剛剛好的B群，有效維持健康又不增加身體負擔。
B型肝炎病毒會造成肝臟的破壞，大概有五分之一的病人會變成肝硬化，一旦肝硬化形成以後，每一年就有1-4%的機會會產生肝癌，終其一生，有大概五分之一肝硬化的病人會走進肝衰竭。所以我們常說B型肝炎有三部曲，就是慢性肝炎、肝硬化、以及肝癌。
那位患者知道自己有B型肝炎帶原，但是從來沒有追蹤。當時只是打算順便做個檢查，結果意外發現罹患肝癌，非常震驚。余明隆醫師提醒，B型肝炎帶原者一定要定期追蹤、治療，不能輕忽！
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
在現代職場中，兼具軟硬實力是提升競爭力的關鍵。硬實力是完成任務所需的專業知識和技能，而軟實力則涉及個人特質和行為表現。本文探討如何透過學校學習、工作經驗及性格優勢來培養這兩種能力，並提供建議讓求職者能夠在未來職涯中發光發熱。
有一次跟女兒、兒子在聊天的時候，就聽到女兒很對兒子說：「弟弟你小時候比較不常被媽媽打，而不像我小時候，考試若粗心的時候就會被媽媽打。」
我說因為你是我的第一個孩子，我也沒有經驗，所以就只能照書養。而弟弟出生後，因為有經驗了，所以就照豬養。這個真的對你非常的抱歉，希望你能夠諒解媽媽的好意。
在快節奏的生活中，瑜珈成為了許多人心靈與身體的避風港。每一次舒展，每一次深呼吸，都讓人感受到獨特的放鬆與平靜。然而，練習瑜珈的關鍵之一，除了良好的心態和體驗，還有一個不容忽視的因素——你的瑜珈墊。清潔和保養瑜珈墊不僅能提升它的使用壽命，還能讓每一次的練習都充滿清新感和舒適度。
在台灣的農場和倉庫中，鳥類常常會成為一個令人困擾的問題。它們不僅會帶來鳥糞污染環境，還可能對存放在倉庫內的物品造成損壞。因此，了解如何有效地驅趕鳥類是非常重要的。在這篇文章中，我們將介紹一些可靠的方法，幫助您保持農場和倉庫的環境乾淨整潔，遠離鳥類的干擾。
潤米咨詢創始人劉潤如期舉辦年度演講“進化的力量”。面對難題，創業者需要保持強大的心力來支撐自己不斷前行。激發團隊的內驅力，可以由外而內，從關注行為、關注過程開始，掌握團隊的動機和目標，帶領大家拿下一場場小勝利，以成果激發團隊的成就感、滿足感，從而實現從外部激勵刺激到內在價值感建立，喚醒真正的內驅力
B群維生素是我們健康的不可或缺的一部分，但在選購B群保健品時，如何挑選適合的產品呢？今天我要分享3個B群推薦原則，讓你能夠補充剛剛好的B群，有效維持健康又不增加身體負擔。
B型肝炎病毒會造成肝臟的破壞，大概有五分之一的病人會變成肝硬化，一旦肝硬化形成以後，每一年就有1-4%的機會會產生肝癌，終其一生，有大概五分之一肝硬化的病人會走進肝衰竭。所以我們常說B型肝炎有三部曲，就是慢性肝炎、肝硬化、以及肝癌。
那位患者知道自己有B型肝炎帶原，但是從來沒有追蹤。當時只是打算順便做個檢查，結果意外發現罹患肝癌，非常震驚。余明隆醫師提醒，B型肝炎帶原者一定要定期追蹤、治療，不能輕忽！