付費限定
三分鐘內由上帝視角理解LoRA，讓大模型成為達文西的秘訣
更新於 2024/12/01閱讀時間約 4 分鐘
未來不管是Diffuser還是LLM的微調，都離不開LoRA這項技術，充分理解LoRA的本質是甚麼，CP值特別高。這項技術的理念其實在人工智慧領域行之有年，只是普遍沒有響亮的名字與非常痛的應用場合，在大模型參數量暴增的時刻，重要性被大幅凸顯出來。
降低參數量的手法:
一個矩陣最大的Rank(獨立向量個數)，會取決於矩陣長與寬的最小值，也是獨立的特徵向量的最大總數，想要大幅度的減少矩陣大小，降低參數量，最簡單的方法就是減少矩陣的Rank數目，如下圖所示:
業界行之有年的參數縮減架構，原本的參數量500x500 = 25萬，降低Rank到100以後，只需要12萬個參數，Rank越小，需要調整的參數量越少
那該如何決定參數可以減少多少呢? Rank數取決於特徵值的大小，特徵值越大，特徵向量越重要，如下圖所示，滿Rank=20的矩陣會有約20%，4個Rank的重要性會占整體80%，這滿足了大數80/20法則，在一個訓練取得優秀成果的Model都會很自然地出現這個特性。如果要抓住Model整體的精神宗旨，只要抓住20%，也就是4個Rank的量，這樣就能節省非常多的參數，代價是會損失一些細部的模型理解能力。
LoRA的上帝視角:
LoRA (Low-Rank Adaptation of Large Language Models) 可以看成是超級大模型的外掛程式，做微調的時候，可以保持原模型不變，外掛分支，如下圖所示的架構:
以行動支持創作者！付費即可解鎖
本篇內容共 1983 字、0
則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
96會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
留言0
查看全部
你可能也想看
Google News 追蹤
本文探討了複利效應的重要性，並藉由巴菲特的投資理念，說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式，不僅能減少情緒影響，還能持續參與全球股市的發展。此外，文中介紹了使用國泰 Cube App 的便利性及低手續費，幫助投資者簡化投資流程，達成長期穩定增長的財務目標。
在職場競爭激烈的今天，運動員的獨特優勢不容忽視。他們所培養的抗壓能力、團隊協作精神以及持續進步的心態，讓他們成為許多企業爭相聘用的理想人選。只需三分鐘，讓我們揭示運動員如何在職場中脫穎而出，成為不可忽視的競爭力。
AI統計全球百大企業中排行前五最愛聘用運動員的企業
為何許多企業喜歡雇
三分鐘未來日記分享了一個改變負面思考的方式，透過書寫，感恩日常中的小事物，改變情緒，引發正能量，甚至在寫了幾個月後，作者發生了一個不可思議的變化。
在步調緊湊的現代生活中，人們面對四面八方的壓力，開始尋找不同方式帶給自己片刻的平靜和舒緩。近幾年誕生許多以水晶為基底的全新療癒樂器，本文將介紹新型態「水晶療癒樂器」的種類，如水晶缽、水晶豎琴、水晶聲波琴等。
未來不管是Diffuser還是LLM的微調，都離不開LoRA這項技術，充分理解LoRA的本質是甚麼，CP值特別高。這項技術的理念其實在人工智慧領域行之有年，只是普遍沒有響亮的名字與非常痛的應用場合，在大模型參數量暴增的時刻，重要性被大幅凸顯出來。
智能合約和 NFT 是非常硬的主題，基本上是一種技術和商業的混用，不過有趣的是：市場卻又透過積極的參與給出了肯定，哪怕是在熊市。
區塊鏈 2.0：智能合約
智能合約，有人又稱區塊鏈 2.0，原本區塊鏈僅被用於去中心化交易，後來以太坊推出智能合約後，許多的去中心化應用（dApp）誕生，你可以將智能合約
以甜點作為品味生活的點綴，這對很多人來說是再直覺不過的事情了。隨著技術的進步，各行各業都在以技術協助本業提升，講數位轉型有時候過於沈重，從數位化及數位優化開始是個好的選擇。
這裡來介紹一下法朋烘焙甜點坊電商，上線至今創下多次數分鐘內達成數百萬業績的成果！
整體的開發要點在於真正解決甜點銷售的痛點。
今年以來寫了幾篇中國，其實都是在提醒中國有其問題需多加留意。例如以下這篇，就說明了雖然中國的採購經理人PMI指數都在50以上（50以上叫做經濟擴張；以下叫作衰退），但已有強弩之末的感覺（詳情請見下列網址）
前言：
盤勢閒聊：2021.03.10 中國股市怎麼了？ – 投資心誌 (investingandminds.com)
今年三月曾提到其實中國內部的數據其實並不妙，滬深300自3/10的5,003點跌到7/27的4,751，
首先需要準備的東西：雙證件（身分證＋健保卡／駕照／護照）
接下來就可以快速辦ＦＴＸ的開戶囉～！
使用我的推薦碼／可享5％費用折扣：https://ftx.com/#a=34662903
註冊畫面
右上角的註冊，點擊後，按下註冊～
郵件跟密碼已驗證成功
密碼的部分，有一些規定，怕你的密碼太好猜，
本文探討了複利效應的重要性，並藉由巴菲特的投資理念，說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式，不僅能減少情緒影響，還能持續參與全球股市的發展。此外，文中介紹了使用國泰 Cube App 的便利性及低手續費，幫助投資者簡化投資流程，達成長期穩定增長的財務目標。
在職場競爭激烈的今天，運動員的獨特優勢不容忽視。他們所培養的抗壓能力、團隊協作精神以及持續進步的心態，讓他們成為許多企業爭相聘用的理想人選。只需三分鐘，讓我們揭示運動員如何在職場中脫穎而出，成為不可忽視的競爭力。
AI統計全球百大企業中排行前五最愛聘用運動員的企業
為何許多企業喜歡雇
三分鐘未來日記分享了一個改變負面思考的方式，透過書寫，感恩日常中的小事物，改變情緒，引發正能量，甚至在寫了幾個月後，作者發生了一個不可思議的變化。
在步調緊湊的現代生活中，人們面對四面八方的壓力，開始尋找不同方式帶給自己片刻的平靜和舒緩。近幾年誕生許多以水晶為基底的全新療癒樂器，本文將介紹新型態「水晶療癒樂器」的種類，如水晶缽、水晶豎琴、水晶聲波琴等。
未來不管是Diffuser還是LLM的微調，都離不開LoRA這項技術，充分理解LoRA的本質是甚麼，CP值特別高。這項技術的理念其實在人工智慧領域行之有年，只是普遍沒有響亮的名字與非常痛的應用場合，在大模型參數量暴增的時刻，重要性被大幅凸顯出來。
智能合約和 NFT 是非常硬的主題，基本上是一種技術和商業的混用，不過有趣的是：市場卻又透過積極的參與給出了肯定，哪怕是在熊市。
區塊鏈 2.0：智能合約
智能合約，有人又稱區塊鏈 2.0，原本區塊鏈僅被用於去中心化交易，後來以太坊推出智能合約後，許多的去中心化應用（dApp）誕生，你可以將智能合約
以甜點作為品味生活的點綴，這對很多人來說是再直覺不過的事情了。隨著技術的進步，各行各業都在以技術協助本業提升，講數位轉型有時候過於沈重，從數位化及數位優化開始是個好的選擇。
這裡來介紹一下法朋烘焙甜點坊電商，上線至今創下多次數分鐘內達成數百萬業績的成果！
整體的開發要點在於真正解決甜點銷售的痛點。
今年以來寫了幾篇中國，其實都是在提醒中國有其問題需多加留意。例如以下這篇，就說明了雖然中國的採購經理人PMI指數都在50以上（50以上叫做經濟擴張；以下叫作衰退），但已有強弩之末的感覺（詳情請見下列網址）
前言：
盤勢閒聊：2021.03.10 中國股市怎麼了？ – 投資心誌 (investingandminds.com)
今年三月曾提到其實中國內部的數據其實並不妙，滬深300自3/10的5,003點跌到7/27的4,751，
首先需要準備的東西：雙證件（身分證＋健保卡／駕照／護照）
接下來就可以快速辦ＦＴＸ的開戶囉～！
使用我的推薦碼／可享5％費用折扣：https://ftx.com/#a=34662903
註冊畫面
右上角的註冊，點擊後，按下註冊～
郵件跟密碼已驗證成功
密碼的部分，有一些規定，怕你的密碼太好猜，