付費限定文章讓Mistral 7B搞定長序列128K (e.g.雜誌)，使用YaRN插值改良手法
付費限定文章前言:
本篇精選熱點論文，基於ROPE(Rotary Position Embeddings)改善插值方式，讓模型可以在短序列(4K Tokens)進行訓練，接著在長序列(128K Tokens)僅做少數微調，甚至無須微調，就能達到泛化到極長輸入序列的能力，讓Context Window可以吞下一整本雜誌，生成困惑度足夠小的內容!
在寫這篇的同時Chatgpt4-turbo宣布能將輸入序列長度擴增到128K，應該有用到本篇所提出的方法，此方法使得LLM的效能還有應用彈性極大化，需要好好的學習一下。
論文與開源模型:
YaRN: Efficient Context Window Extension of
以行動支持創作者！付費即可解鎖
本篇內容共 4794 字、0
則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
92會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
留言0
查看全部
無限智慧學院的沙龍 的其他內容
你可能也想看
B群推薦怎麼買？3原則讓你補充溫和B群，維持健康無負擔B群維生素是我們健康的不可或缺的一部分，但在選購B群保健品時，如何挑選適合的產品呢？今天我要分享3個B群推薦原則，讓你能夠補充剛剛好的B群，有效維持健康又不增加身體負擔。
2023-10-13
2023-05-14
2023-05-14
肝硬化讓肝癌風險暴增！B型肝炎的病程與治療B型肝炎病毒會造成肝臟的破壞，大概有五分之一的病人會變成肝硬化，一旦肝硬化形成以後，每一年就有1-4%的機會會產生肝癌，終其一生，有大概五分之一肝硬化的病人會走進肝衰竭。所以我們常說B型肝炎有三部曲，就是慢性肝炎、肝硬化、以及肝癌。
2022-08-16
肝硬化讓肝癌風險暴增！B型肝炎的病程與治療，醫師圖文解說那位患者知道自己有B型肝炎帶原，但是從來沒有追蹤。當時只是打算順便做個檢查，結果意外發現罹患肝癌，非常震驚。余明隆醫師提醒，B型肝炎帶原者一定要定期追蹤、治療，不能輕忽！
2022-08-02
【隱寓系列】＃10. B的房間 : 讓誰住進去「陸續和他相處後，我發現B有各種面貌，各自獨立各自成立，在和不同人相處之間不停轉換。有認真嚴肅談論事情，談天深入的他、也有很不正經像孩子般愛鬥嘴亂講話的他，共同點是真誠不虛假。問五個人或許會得出五種不同形容詞的描述。而也只有在他心裡認可的人才能同時看見很多面的他。他像一個有稜角的多面體，時而...」
2022-05-23
《如何讓考績從B到A+，別再努力工作，提升「效率」5個方法！》十月份又到打考績的月份，我以前年輕的時候，一直很努力工作但是卻跟升遷無緣，跟主管的關係也不錯，但是考績永遠只是B，那麼到底問題出在那裡？
直接問主管他也只是婉委的說別人的效率比你好，在維基百科定義：「效率是可以成功的把事情做好，且沒有浪費的能力。」，但是就字面上仍然是很抽象的定義，而每個人工作特
2021-10-05
B站大當機，竟讓上億人一夜焦慮難眠？Up主和YouTuber誰賺得多？BiliBili一夜故障影響數億人的生活，一個僅擁有月用戶2.23億影音平台的故障可以被登上中國微博的熱搜，並有6.3億的瀏覽次數，可說是現在的影音平台的聲量，不僅影響在平台內部，而是整個互聯網的世界，身為網路時代的我們肯定要暸解這個不容小覷年輕人所愛的BiliBili (B站、嗶哩嗶哩 )。
2021-07-27
【藥專家X西城玩物】視方：讓你看見更美麗的世界，含葉黃素、B群、維生素E｜Mr. 西城前言：藍光普照的現代社會，需要視方來保養
根據 2018 資策會服創一份調查報告指出，超過 51.5% 的民眾每天使用手機的時間落在 2~5 小時之間，更有 28.1％的民眾使用手機超過五小時。
大家都知道滑手機不好，除了低頭姿勢造成的肩頸痠痛，還有大家最害怕的「藍光」造成眼部傷害，可是藍光到底對眼
2019-08-25
談判大師的溝通心法 讓你避開B咖陷阱
前幾天，艾兒莎在書架上注意到一本之前買的書：《為什麼Google、LinkedIn、波音、高通、迪士尼都找他合作？》。
如今他的書名又再次吸引我的目光，原因在於上個月剛好有個朋友找我聊天他當業務做陌生拜訪、開發新客戶的時候，很容易在一開始便處於「不對等」的狀況...
2019-08-06