付費限定

三分鐘內由上帝視角理解LoRA,讓大模型成為達文西的秘訣

閱讀時間約 4 分鐘

未來不管是Diffuser還是LLM的微調,都離不開LoRA這項技術,充分理解LoRA的本質是甚麼,CP值特別高。這項技術的理念其實在人工智慧領域行之有年,只是普遍沒有響亮的名字與非常痛的應用場合,在大模型參數量暴增的時刻,重要性被大幅凸顯出來。


降低參數量的手法:

一個矩陣最大的Rank(獨立向量個數),會取決於矩陣長與寬的最小值,也是獨立的特徵向量的最大總數,想要大幅度的減少矩陣大小,降低參數量,最簡單的方法就是減少矩陣的Rank數目,如下圖所示:

業界行之有年的參數縮減架構,原本的參數量500x500 = 25萬,降低Rank到100以後,只需要12萬個參數,Rank越小,需要調整的參數量越少

業界行之有年的參數縮減架構,原本的參數量500x500 = 25萬,降低Rank到100以後,只需要12萬個參數,Rank越小,需要調整的參數量越少

那該如何決定參數可以減少多少呢? Rank數取決於特徵值的大小,特徵值越大,特徵向量越重要,如下圖所示,滿Rank=20的矩陣會有約20%,4個Rank的重要性會占整體80%,這滿足了大數80/20法則,在一個訓練取得優秀成果的Model都會很自然地出現這個特性。如果要抓住Model整體的精神宗旨,只要抓住20%,也就是4個Rank的量,這樣就能節省非常多的參數,代價是會損失一些細部的模型理解能力。

raw-image

LoRA的上帝視角:

LoRA (Low-Rank Adaptation of Large Language Models) 可以看成是超級大模型的外掛程式,做微調的時候,可以保持原模型不變,外掛分支,如下圖所示的架構:

raw-image
以行動支持創作者!付費即可解鎖
本篇內容共 1983 字、0 則留言,僅發佈於人工智慧宇宙你目前無法檢視以下內容,可能因為尚未登入,或沒有該房間的查看權限。
avatar-img
96會員
128內容數
帶你用上帝視角,針對市面上具有高度價值的影片/論文/書籍,用東方取象,與西方邏輯辯證的角度同時出發,跟著我一起來探討宇宙萬事萬物的本質,隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷,近期對於人工智慧,東方易經,西方辯證邏輯,還有佛法向內求有深度興趣。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
如何評量一個大型語言模型有學到東西? 其中一個常用指標就是Perplexity(困惑度)。由於困惑度被大量論文引用,學習CP值很高,所以寫專文介紹。
根據熱力學熵增鐵律,多數人認為宇宙會最終會進入熱寂(亂度散度最大化),然後死去,但事實或許不然,一年有四季,日昇日落,大自然注定是生生不息,循環往復的,有鑑於近來大量閱讀AI關於模型與映射的概念,突然靈光乍現,想出了一套能讓宇宙生生不息的假說,讓我們一起來逐步論證!
相信有不少人在剛接觸Attention is all you need這篇論文的時候,最感到困惑的就是Positional Encoding,知道公式長怎樣,不外乎就是Cosine / Sine,但始終無法直搗黃龍,理解背後的道理,本篇文提供各種觀點,讓你三分鐘內搞懂!
如何評量一個大型語言模型有學到東西? 其中一個常用指標就是Perplexity(困惑度)。由於困惑度被大量論文引用,學習CP值很高,所以寫專文介紹。
根據熱力學熵增鐵律,多數人認為宇宙會最終會進入熱寂(亂度散度最大化),然後死去,但事實或許不然,一年有四季,日昇日落,大自然注定是生生不息,循環往復的,有鑑於近來大量閱讀AI關於模型與映射的概念,突然靈光乍現,想出了一套能讓宇宙生生不息的假說,讓我們一起來逐步論證!
相信有不少人在剛接觸Attention is all you need這篇論文的時候,最感到困惑的就是Positional Encoding,知道公式長怎樣,不外乎就是Cosine / Sine,但始終無法直搗黃龍,理解背後的道理,本篇文提供各種觀點,讓你三分鐘內搞懂!
你可能也想看
Google News 追蹤
Thumbnail
這是張老師的第三本書,我想前二本應該也有很多朋友們都有讀過,我想絕對是受益良多,而這次在書名上就直接點出,著重在從投資的角度來切入
Thumbnail
在職場競爭激烈的今天,運動員的獨特優勢不容忽視。他們所培養的抗壓能力、團隊協作精神以及持續進步的心態,讓他們成為許多企業爭相聘用的理想人選。只需三分鐘,讓我們揭示運動員如何在職場中脫穎而出,成為不可忽視的競爭力。 AI統計全球百大企業中排行前五最愛聘用運動員的企業 為何許多企業喜歡雇
Thumbnail
好好利用「三分鐘熱度」把想做的事情做好實際上也是一種高效利用時間的方法。
Thumbnail
三分鐘未來日記分享了一個改變負面思考的方式,透過書寫,感恩日常中的小事物,改變情緒,引發正能量,甚至在寫了幾個月後,作者發生了一個不可思議的變化。
Thumbnail
在步調緊湊的現代生活中,人們面對四面八方的壓力,開始尋找不同方式帶給自己片刻的平靜和舒緩。近幾年誕生許多以水晶為基底的全新療癒樂器,本文將介紹新型態「水晶療癒樂器」的種類,如水晶缽、水晶豎琴、水晶聲波琴等。
Thumbnail
未來不管是Diffuser還是LLM的微調,都離不開LoRA這項技術,充分理解LoRA的本質是甚麼,CP值特別高。這項技術的理念其實在人工智慧領域行之有年,只是普遍沒有響亮的名字與非常痛的應用場合,在大模型參數量暴增的時刻,重要性被大幅凸顯出來。
Thumbnail
智能合約和 NFT 是非常硬的主題,基本上是一種技術和商業的混用,不過有趣的是:市場卻又透過積極的參與給出了肯定,哪怕是在熊市。 區塊鏈 2.0:智能合約 智能合約,有人又稱區塊鏈 2.0,原本區塊鏈僅被用於去中心化交易,後來以太坊推出智能合約後,許多的去中心化應用(dApp)誕生,你可以將智能合約
Thumbnail
以甜點作為品味生活的點綴,這對很多人來說是再直覺不過的事情了。隨著技術的進步,各行各業都在以技術協助本業提升,講數位轉型有時候過於沈重,從數位化及數位優化開始是個好的選擇。 這裡來介紹一下法朋烘焙甜點坊電商,上線至今創下多次數分鐘內達成數百萬業績的成果! 整體的開發要點在於真正解決甜點銷售的痛點。
Thumbnail
今年以來寫了幾篇中國,其實都是在提醒中國有其問題需多加留意。例如以下這篇,就說明了雖然中國的採購經理人PMI指數都在50以上(50以上叫做經濟擴張;以下叫作衰退),但已有強弩之末的感覺(詳情請見下列網址)
Thumbnail
前言: 盤勢閒聊:2021.03.10 中國股市怎麼了? – 投資心誌 (investingandminds.com) 今年三月曾提到其實中國內部的數據其實並不妙,滬深300自3/10的5,003點跌到7/27的4,751,
Thumbnail
首先需要準備的東西:雙證件(身分證+健保卡/駕照/護照) 接下來就可以快速辦FTX的開戶囉~! 使用我的推薦碼/可享5%費用折扣:https://ftx.com/#a=34662903 註冊畫面 右上角的註冊,點擊後,按下註冊~ 郵件跟密碼已驗證成功 密碼的部分,有一些規定,怕你的密碼太好猜,
Thumbnail
這是張老師的第三本書,我想前二本應該也有很多朋友們都有讀過,我想絕對是受益良多,而這次在書名上就直接點出,著重在從投資的角度來切入
Thumbnail
在職場競爭激烈的今天,運動員的獨特優勢不容忽視。他們所培養的抗壓能力、團隊協作精神以及持續進步的心態,讓他們成為許多企業爭相聘用的理想人選。只需三分鐘,讓我們揭示運動員如何在職場中脫穎而出,成為不可忽視的競爭力。 AI統計全球百大企業中排行前五最愛聘用運動員的企業 為何許多企業喜歡雇
Thumbnail
好好利用「三分鐘熱度」把想做的事情做好實際上也是一種高效利用時間的方法。
Thumbnail
三分鐘未來日記分享了一個改變負面思考的方式,透過書寫,感恩日常中的小事物,改變情緒,引發正能量,甚至在寫了幾個月後,作者發生了一個不可思議的變化。
Thumbnail
在步調緊湊的現代生活中,人們面對四面八方的壓力,開始尋找不同方式帶給自己片刻的平靜和舒緩。近幾年誕生許多以水晶為基底的全新療癒樂器,本文將介紹新型態「水晶療癒樂器」的種類,如水晶缽、水晶豎琴、水晶聲波琴等。
Thumbnail
未來不管是Diffuser還是LLM的微調,都離不開LoRA這項技術,充分理解LoRA的本質是甚麼,CP值特別高。這項技術的理念其實在人工智慧領域行之有年,只是普遍沒有響亮的名字與非常痛的應用場合,在大模型參數量暴增的時刻,重要性被大幅凸顯出來。
Thumbnail
智能合約和 NFT 是非常硬的主題,基本上是一種技術和商業的混用,不過有趣的是:市場卻又透過積極的參與給出了肯定,哪怕是在熊市。 區塊鏈 2.0:智能合約 智能合約,有人又稱區塊鏈 2.0,原本區塊鏈僅被用於去中心化交易,後來以太坊推出智能合約後,許多的去中心化應用(dApp)誕生,你可以將智能合約
Thumbnail
以甜點作為品味生活的點綴,這對很多人來說是再直覺不過的事情了。隨著技術的進步,各行各業都在以技術協助本業提升,講數位轉型有時候過於沈重,從數位化及數位優化開始是個好的選擇。 這裡來介紹一下法朋烘焙甜點坊電商,上線至今創下多次數分鐘內達成數百萬業績的成果! 整體的開發要點在於真正解決甜點銷售的痛點。
Thumbnail
今年以來寫了幾篇中國,其實都是在提醒中國有其問題需多加留意。例如以下這篇,就說明了雖然中國的採購經理人PMI指數都在50以上(50以上叫做經濟擴張;以下叫作衰退),但已有強弩之末的感覺(詳情請見下列網址)
Thumbnail
前言: 盤勢閒聊:2021.03.10 中國股市怎麼了? – 投資心誌 (investingandminds.com) 今年三月曾提到其實中國內部的數據其實並不妙,滬深300自3/10的5,003點跌到7/27的4,751,
Thumbnail
首先需要準備的東西:雙證件(身分證+健保卡/駕照/護照) 接下來就可以快速辦FTX的開戶囉~! 使用我的推薦碼/可享5%費用折扣:https://ftx.com/#a=34662903 註冊畫面 右上角的註冊,點擊後,按下註冊~ 郵件跟密碼已驗證成功 密碼的部分,有一些規定,怕你的密碼太好猜,