Stable Diffusion -- 訓練LoRA(四)

閱讀時間約 7 分鐘
不是狼虎也不是野鹿,為何我們要在荒野上流浪?

前言

接續上一篇: Stable Diffusion -- 訓練LoRA(三) ,我們開始用準備好的訓練素材圖跟規範圖來烘焙我們的LoRA。

訓練

我們開始使用另一個Colab頁面來執行真正的訓練步驟:
這個版本的Colab訓練頁面多了一些與規範圖相關的功能,在執行訓練前,我們要來指定素材圖與規範圖擺放的目錄。
先往下捲動到Extras區,找到Multiple folders in dataset這個區塊,將裡面的數值改成這樣:
custom_dataset = """
[[datasets]]

[[datasets.subsets]]
image_dir = "/content/drive/MyDrive/Loras/{專案目錄名}/dataset"
num_repeats = 10

[[datasets.subsets]]
image_dir = "/content/drive/MyDrive/Loras/{規範圖目錄名}/dataset"
is_reg = true
num_repeats = 1

"""
在這裡,專案目錄名就是你擺放的素材圖的地方,以我為例,就是XingBar30。
接著的num_repeats是每個素材圖會被訓練的次數,通常是總圖數乘上本數值要等於300到400。因為我的素材總共有30張,所以我選擇10這個數字,這樣每回合就會被訓練300次。
規範圖目錄名則是你放置規範圖的目錄,在本例中我將男性圖片的規範圖放在Man這個目錄底下。
要注意的是,is_reg = true一定要放在規範圖這一小節的地方,否則訓練程式會認不出來,這樣訓練出來的LoRA會完全做不出你要的角色。
通通設定完之後就可以執行這個小節的程式。
按下執行鈕,改變設定
這格執行完之後,我們就可以開始在Setup小節填入其他資料了。
project_name這邊填入專案目錄名,例如XingBar30。
training_model目前有三個選項,如果是動漫傾向的角色,可以用Anime這個模型,否則用AnyLoRA就好。以我個人三種都試過的經驗,影響似乎不大。
Setup小節
在Step步驟,我只有改變how_many到20或30回合。這樣可以得到品質更好的成果。
總訓練步數的計算方法是:
素材圖張數 X 每張訓練次數 X 總回合數。
以我的例子就是 30 X 10 X 30 = 9000。
Step小節
最後是AI訓練參數,這邊作者有特別提到不同類型的模型需要不同的參數,我們訓練的LoRA的推薦參數是:
network_dim: 32
network_alpha: 16
其他則保持原樣。
Structure小節
一切都設定好之後,就可以按下執行,開始訓練LoRA了!
開始訓練!
在執行紀錄裡面,請一定要確認Multiple folders in dataset裡面的設定有正確執行,你可以看到類似這樣的紀錄跑出來:
設定正確的話會跑出這個紀錄文字
以我個人的經驗,Colab的GPU一個小時可以跑大約6000步,所以一個9000步的LoRA訓練可以在一個半小時之內跑完。
由於我時常使用Colab來跑這些東西,所以索性買了Colab的點數,通常訓練LoRA的時候,一個小時消耗2個點數,也就是說10美金的Colab點數100點,可以讓我們訓練50小時,算是蠻實惠的。
跑出最後的連結就是成功了!
訓練出來的LoRA檔案,就在雲端硬碟的output目錄下,點下Done連結會自動打開該目錄,讓你可以下載。

常見錯誤

訓練最常出錯的地方,是沒有把素材圖跟規範圖放到正確的目錄下,使得程式找不到圖而停止。要是程式很快就停止了,請在Colab左側的欄位上點開檔案目錄,查看自己的檔案結構是不是類似這樣:
程式預期的檔案目錄結構

驗證

LoRA訓練完成之後,下載下來到/models/Lora/目錄,重開Automatic1111,在Lora標籤下按下Refresh,應該就能看到自己訓練的LoRA了。
要驗證自己的LoRA有沒有用,最簡單的就是用較低的權重直接產生一張圖,比較一下自己的素材圖,如果不像的話,試著調高權重到0.7再試試,如果還是不像,那就是訓練失敗了。
左邊是素材圖,右邊是LoRA產生的圖。臉型,髮色,髮型是符合的
當確認LoRA有成功之後,接下來就要來比較同一角色不同版本的LoRA的成效,通常我們會使用X/Y/Z plot來做全面的比對。X/Y/Z plot的詳細用法請參考:
我最常用:
X軸:各種動作
Y軸:幾個常用的模型
Z軸:兩個不同版本的LoRA使用同樣的權重
比較不同的版本LoRA,來確定新版本更合你意。
新舊版的LoRA比較
確認了新版本LoRA表現更佳之後,就可以繼續用X/Y/Z plot來深入探究在各種模型上,最好的權重是多少,每個模型最適合的權重都有些不一樣,品質好的LoRA可以在高權重時,在不同模型上依舊產生特徵一樣的角色,而且同時不摧毀原模型的畫質
用相同動作,相同模型組,不同權重的比較
在這邊,如果各種驗證步驟都沒有出什麼大問題,恭喜你,你已經烘焙好一個高品質,穩定的角色LoRA了!

結語

訓練LoRA是很吃耐心跟細心的,很多時候,就是素材圖或規範圖的圖樣不一致,或者素材的文字檔忘了刪除某些提示詞,於是角色特徵沒有正確融入這個LoRA,一切就要從頭再訓練。但是當你正確產生了第一個高品質LoRA之後,依照同樣的步驟,就能一遍又一遍將你夢想中的角色製作出來,用在任何模型上!這種成就感是非常讓人滿足的。
歡迎來到LoRA的世界!
祝大家算圖愉快!

LoRA目錄:
為什麼會看到廣告
19.7K會員
304內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言0
查看全部
發表第一個留言支持創作者!
如何完全靠雲端運算,簡單產生高品質,穩定的角色LoRA,讓AI繪圖能在不同模型下產生一致的人物。上集。
這個方法主要是借用Google Colab的威力。 這次要介紹的LoRA訓練法,特別適用於下列對象: nVidia顯卡不夠高級,跑不動訓練程序 根本不是nVidia顯卡的使用者,Stable Diffusion的訓練程序不支援 不想花錢花電力花顯卡時間訓練
本文教導你如何準備LoRA訓練的素材與選擇合適的提示詞。
奮戰整整三天,終於可以讓妳在任何模組上出現,這感覺真好。😊 來說說為何使用LoRA,還有它的一些特性。
如何完全靠雲端運算,簡單產生高品質,穩定的角色LoRA,讓AI繪圖能在不同模型下產生一致的人物。上集。
這個方法主要是借用Google Colab的威力。 這次要介紹的LoRA訓練法,特別適用於下列對象: nVidia顯卡不夠高級,跑不動訓練程序 根本不是nVidia顯卡的使用者,Stable Diffusion的訓練程序不支援 不想花錢花電力花顯卡時間訓練
本文教導你如何準備LoRA訓練的素材與選擇合適的提示詞。
奮戰整整三天,終於可以讓妳在任何模組上出現,這感覺真好。😊 來說說為何使用LoRA,還有它的一些特性。
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
因為最近 Vlad 頻繁出問題,且Img2Img算一張1024x2048、Denoising Strength 0.45 的圖要整整兩個小時,想說暫時先用 A1111 應急。沒想到 A1111 現在也是半斤八兩,沒有 --no-half --no-half-vae u 一定出問題不說,Img2Img
Thumbnail
  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion時,常會遇到一個令我困擾的問題----紫色斑塊。
Thumbnail
以下講一些有關stable diffusion webui的幾個小操作,都不難,也都很實用,也許其實你早就知道了,這些都不是什麼驚奇的事,但我發現似乎並不是所有人都知道這些事。 這些真的都是一些雞毛蒜皮的小事,不足以獨立寫成一篇教學文章,所以我就簡單的匯整一下就好。
Thumbnail
本教學使用Automatic 1111介面   AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。
Thumbnail
stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
先說結論:   演算Img2Img時,Sampling Methods(取樣方法)中Karras類型比較忠於原圖,非Karras類型比較放飛自我。
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
因為最近 Vlad 頻繁出問題,且Img2Img算一張1024x2048、Denoising Strength 0.45 的圖要整整兩個小時,想說暫時先用 A1111 應急。沒想到 A1111 現在也是半斤八兩,沒有 --no-half --no-half-vae u 一定出問題不說,Img2Img
Thumbnail
  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion時,常會遇到一個令我困擾的問題----紫色斑塊。
Thumbnail
以下講一些有關stable diffusion webui的幾個小操作,都不難,也都很實用,也許其實你早就知道了,這些都不是什麼驚奇的事,但我發現似乎並不是所有人都知道這些事。 這些真的都是一些雞毛蒜皮的小事,不足以獨立寫成一篇教學文章,所以我就簡單的匯整一下就好。
Thumbnail
本教學使用Automatic 1111介面   AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。
Thumbnail
stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
先說結論:   演算Img2Img時,Sampling Methods(取樣方法)中Karras類型比較忠於原圖,非Karras類型比較放飛自我。