微調Chat GPT模型 - LoRA

閱讀時間約 2 分鐘

大家在跟Chat GPT互動的時候,會不會覺得常常雞同鴨講

我們梳理了一些提升Chat GPT回答能力的作法 ChatGPT回答不是你要的怎麼辦?

我們也實作了當中的一種方法,叫做RAG於 自己做免錢Chat GPT吧

這篇文章,我們談談其他技巧,稱為「透過LoRA執行Fine Tuning」


  • LoRA簡介

Microsoft 團隊提出的Low Rank Adaption (LoRA)是一種有效的參數Fine Tuning技術,可幫助改善大型語言模型 (LLM)在特定任務上的效能表現,並且具有較低的運算和儲存成本。 它旨在透過降低模型參數的秩(Rank)來減少模型的複雜度,從而提高模型的一般化能力和適應性。


  • LoRA圖示說明
raw-image
  • 既然 LLM 適用於不同任務,那代表模型對於不同任務會有不同的神經元/特徵來處理這件事,如果我們能從眾多特徵中找到適合那個下游任務的特徵,並對他們的特徵進行強化,那我們就能對特定任務有著更好的成果。
  • 因此搭配另一組可訓練的參數 Trainable Weight進行組合,藉此最佳化下游任務的成果。
  • 右邊橘色模組為我們要訓練的模型權重 LoRA ,透過中間 Rank — r 的限縮,可以大幅地降低訓練的參數量。


  • LoRA與LLM中的Transformer關係圖


raw-image

透過凍結原本的預訓練模型的權重,搭配一個小的模型進行微調就可以達到很好的 Fine-Tuning 效果。透過微調新增的小型網路,當作補丁或是插件。整體想法如上圖:在特定層之中插入小型的 LoRA 網路,來讓模型可適用不同的任務。


  • 補充說明
raw-image
  1. 矩陣A的權重參數會透過高斯函數初始化,而矩陣B的權重參數會初始化為零矩陣,這樣能保證訓練開始時新增的旁枝BA = 0,從而對模型結果沒有影響。
  2. Transformer模組中的Attention部分包含Query、Key、Value矩陣,也包含Multiple Attention的矩陣,乃至於Multiple Layer Perceptron的矩陣,LoRA只應用於Attention模組中的四個矩陣,透過實驗發現,LoRA應用於Query和Value矩陣效果最佳。





155會員
390內容數
這裡將提供: AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹,一起在未來AI的世界擁抱AI技術,不BI。
留言0
查看全部
發表第一個留言支持創作者!
Learn AI 不 BI 的其他內容
工欲善其事,必先利其器,要打造屬於自己的Chat GPT之前,我們先學習怎麼建立Google免費提供的Colab環境,它可以免費使用GPU來加速AI的運算,非常適合沒有錢添購GPU,但又想學習前沿AI技術的人。 第一步:打開Google瀏覽器,並點選右上方的「方格子點點」,接著選擇「雲端硬碟」
以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 在第二章會介紹機率相關概念,這也是貫穿整本書的基礎。 2.1.1.2 Probability Distributions
以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 在第二章會介紹機率相關概念,這也是貫穿整本書的基礎。 2 Probability Theory 2.1 Motivation
以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 1.4 Historical Notes 這節闡述Probabilistic Graphical Model的崛起歷史,當中尚做了
以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 1.3 Overview and Roadmap 1.3.1 Overview of Chapters 延續上一篇Part 3講
以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 1.3 Overview and Roadmap 1.3.1 Overview of Chapters 延續上一篇Part 2講
工欲善其事,必先利其器,要打造屬於自己的Chat GPT之前,我們先學習怎麼建立Google免費提供的Colab環境,它可以免費使用GPU來加速AI的運算,非常適合沒有錢添購GPU,但又想學習前沿AI技術的人。 第一步:打開Google瀏覽器,並點選右上方的「方格子點點」,接著選擇「雲端硬碟」
以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 在第二章會介紹機率相關概念,這也是貫穿整本書的基礎。 2.1.1.2 Probability Distributions
以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 在第二章會介紹機率相關概念,這也是貫穿整本書的基礎。 2 Probability Theory 2.1 Motivation
以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 1.4 Historical Notes 這節闡述Probabilistic Graphical Model的崛起歷史,當中尚做了
以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 1.3 Overview and Roadmap 1.3.1 Overview of Chapters 延續上一篇Part 3講
以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 1.3 Overview and Roadmap 1.3.1 Overview of Chapters 延續上一篇Part 2講
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
排版微系列調專門分享如何透過一些調整讓設計與排版更好看,並且每張設計都會說明為何調整的原因,以及原本設計可能有的問題。 如果你是設計初學者那這份內容會很適合你,因為會很細節的去講解排版原因,如果你看完喜歡,我每月會有三篇微調詳解固定分享給訂閱會員,歡迎訂閱。 以下內容會說明每個設計調整的原因跟
Thumbnail
排版微系列調專門分享如何透過一些調整讓設計與排版更好看,並且每張設計都會說明為何調整的原因,以及原本設計可能有的問題。 如果你是設計初學者那這份內容會很適合你,因為會很細節的去講解排版原因,如果你看完喜歡,我每月會有三篇微調詳解固定分享給訂閱會員,歡迎訂閱。
Thumbnail
排版微系列調專門分享如何透過一些調整讓設計與排版更好看,並且每張設計都會說明為何調整的原因,以及原本設計可能有的問題。 如果你是設計初學者那這份內容會很適合你,因為會很細節的去講解排版原因,如果你看完喜歡,我每週五會固定分享給訂閱會員,歡迎訂閱。
Thumbnail
排版微調是我社群的一個系列內容,這篇則是提供給訂閱會員的詳細解說版,會說明為何調整的原因跟我的看法,以及原本設計可能有的問題,如果你是設計初學者那這份內容會很適合你,因為會很細節的去講解排版原因,如果你看完喜歡,我每週五會固定分享,歡迎訂閱會員。
Thumbnail
排版微調 VOL.1-詳細解說版 排版微調是我社群的一個系列內容,這篇則是提供給訂閱會員的詳細解說版,會說明為何調整的原因跟我的看法,以及原本設計可能有的問題,如果你是設計初學者那這份內容會很適合你,因為會很細節的去講解排版原因。
Thumbnail
ChatGPT是什麼?這篇文讓你簡單認識最熱門的AI工具,如何從基礎應用到高階玩法,徹底玩轉ChatGPT!你可能已經聽說過GPT-3.5 Turbo,這個由OpenAI開發的語言模型已經在AI界引起了不小的轟動。
最近這兩個月,發生了很多事,像重新找到工作了,慢慢接受一些現實,開始有心境上的轉變。 其實我這個人不太喜歡在網路上說些自己的事,包括發文、玩社群之類的,我對這些都不怎麼感興趣。 這一段時間其實做得挺痛苦的,尤其逼著自己一定要定期發文,雖然也不是每次都做到,但這其實跟我原本的個性完全相反,違逆了我的初
Thumbnail
上壺水溫約62度時候投粉,火一直保持可接受的最小火 粉的味道每變化一次(我的認定就是味道不見一次)時候,攪拌一次。 大約60秒關火,
Thumbnail
兩人之間的信任問題、高延宇想要獲得崔江錫的認同,也是看點,劇中可以數次看到高延宇希望跟崔江錫碰拳,但都被拒絕,或是在被稱讚時的偷笑,相信到後面透過一次次的案件,最後崔江錫予以認同的方式就是一次碰拳!
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
排版微系列調專門分享如何透過一些調整讓設計與排版更好看,並且每張設計都會說明為何調整的原因,以及原本設計可能有的問題。 如果你是設計初學者那這份內容會很適合你,因為會很細節的去講解排版原因,如果你看完喜歡,我每月會有三篇微調詳解固定分享給訂閱會員,歡迎訂閱。 以下內容會說明每個設計調整的原因跟
Thumbnail
排版微系列調專門分享如何透過一些調整讓設計與排版更好看,並且每張設計都會說明為何調整的原因,以及原本設計可能有的問題。 如果你是設計初學者那這份內容會很適合你,因為會很細節的去講解排版原因,如果你看完喜歡,我每月會有三篇微調詳解固定分享給訂閱會員,歡迎訂閱。
Thumbnail
排版微系列調專門分享如何透過一些調整讓設計與排版更好看,並且每張設計都會說明為何調整的原因,以及原本設計可能有的問題。 如果你是設計初學者那這份內容會很適合你,因為會很細節的去講解排版原因,如果你看完喜歡,我每週五會固定分享給訂閱會員,歡迎訂閱。
Thumbnail
排版微調是我社群的一個系列內容,這篇則是提供給訂閱會員的詳細解說版,會說明為何調整的原因跟我的看法,以及原本設計可能有的問題,如果你是設計初學者那這份內容會很適合你,因為會很細節的去講解排版原因,如果你看完喜歡,我每週五會固定分享,歡迎訂閱會員。
Thumbnail
排版微調 VOL.1-詳細解說版 排版微調是我社群的一個系列內容,這篇則是提供給訂閱會員的詳細解說版,會說明為何調整的原因跟我的看法,以及原本設計可能有的問題,如果你是設計初學者那這份內容會很適合你,因為會很細節的去講解排版原因。
Thumbnail
ChatGPT是什麼?這篇文讓你簡單認識最熱門的AI工具,如何從基礎應用到高階玩法,徹底玩轉ChatGPT!你可能已經聽說過GPT-3.5 Turbo,這個由OpenAI開發的語言模型已經在AI界引起了不小的轟動。
最近這兩個月,發生了很多事,像重新找到工作了,慢慢接受一些現實,開始有心境上的轉變。 其實我這個人不太喜歡在網路上說些自己的事,包括發文、玩社群之類的,我對這些都不怎麼感興趣。 這一段時間其實做得挺痛苦的,尤其逼著自己一定要定期發文,雖然也不是每次都做到,但這其實跟我原本的個性完全相反,違逆了我的初
Thumbnail
上壺水溫約62度時候投粉,火一直保持可接受的最小火 粉的味道每變化一次(我的認定就是味道不見一次)時候,攪拌一次。 大約60秒關火,
Thumbnail
兩人之間的信任問題、高延宇想要獲得崔江錫的認同,也是看點,劇中可以數次看到高延宇希望跟崔江錫碰拳,但都被拒絕,或是在被稱讚時的偷笑,相信到後面透過一次次的案件,最後崔江錫予以認同的方式就是一次碰拳!