Stable Diffusion -- 如何使用LoRA

更新於 發佈於 閱讀時間約 6 分鐘

感想

在文章最前頭,先說感想:

奮戰整整三天,終於可以讓妳在任何模組上出現,這感覺真好。😊

奮戰了三天,終於可以好好睡一覺

奮戰了三天,終於可以好好睡一覺

 問題

當我們在用AI算圖的時候,無論是MidJourney,DALL-E,Stable Diffusion還是其他生成式AI算圖,最常遇到的兩個麻煩事是:

  1. 角色在同一個模組逐漸變形
  2. 角色跨模組直接變形
  3. 知名角色,模組不認識

第一個情形是,當你用提示詞好不容易算出一個你喜歡的角色時,想在同一個模型裡面使用不同姿勢、場景、表情、服裝與藝術家風格等調整角色時,AI算出來的圖不一定都跟原本你一開始算出來的角色一樣。這時候最常用的做法就是不停微調提示詞,然後大量產圖拼手氣。

第二個情形是,一模一樣的提示詞在模組A能產生你要的角色形象,但是在模組B不一定能產生非常相像的角色,例如下圖:

一樣的提示詞,算出來的角色其實互相都不太像

一樣的提示詞,算出來的角色其實互相都不太像

這時候你只能靠不斷調整提示詞來拼運氣,但有時候不管怎麼調整都沒用。

第三個情況在動漫模組非常常見,某個在動漫模組非常知名的角色,跑到寫實模組裡面就對應不到任何相像的角色,例如巴洛克大叔在他的文章中提到的問題

使用LoRA

為了解決這些問題,生成式AI有許多不同特性的解法,今天要介紹的LoRA就是一個才剛在Stable Diffusion上實作沒多久,但是因為效果非常顯著,所以很快就流行起來的手段。

LoRA在Automatic1111上的使用方法很簡單,無論是自己烘焙的LoRA或者從huggingface,Civitai等網站抓下來的LoRA,例如這個薩爾達公主的LoRA,抓下來之後放入/models/Lora/ 檔案夾之後,重新啟動Automatic1111之後就能用了!

至於確實的用法,請參考這篇巴洛克大叔的文章,有非常詳盡的步驟介紹。

這邊提一下最簡單的用法:

  1. 在Show/Hide Extra Network按鈕上按一下打開Extra Network區域
  2. 在新出現的區域上選擇Lora標籤,挑選自己要的LoRA
  3. LoRA會以 <lora:檔案名:權重>的型式出現在正面提示詞裡面(也只能用在正面提示詞)
  4. 把啟動提示詞填在正面提示詞裡面,每個LoRA的正面提示詞都不一樣,在下載的頁面中會提到,例如薩爾達公主的LoRA下載頁面,作者提到他的提示詞是princess zelda

使用LoRA的時候要注意的是,LoRA算是一種對整個模型都會產生影響的外掛,所以給他的權重過高,會造成整個畫面嚴重變形,而且不同的LoRA對不同模型的干擾程度都不一樣,需要自行測試。

以我自己烘焙出來的LoRA為例,在不同模型不同權重下的結果:

(extremely detailed CG unity 8k wallpaper), 
digital painting of Vallaria with black dress,
headband, hair ribbons, solo, fantasy,
best quality, masterpiece, hdr, ultra highres,
trending on artstation
<lora:Vallaria30Epochs:0.0>
不同權重對不同模組的影響

不同權重對不同模組的影響

權重為0的時候其實毫無營響。當權重到達0.5以上,就會開始產生破圖。某些模組甚至在0.3的時候就連畫風與背景風格都會改變。所以在實際使用時,都會先從0.1開始慢慢往上加,測試這個模組能夠容忍不變形的極限。

順帶一提,LoRA其實可以共同使用,所以使用人物的LoRA同時使用風格類的LoRA理論上是可行的:

自製人物LoRA加上權重0.7的wlop畫風LoRA

自製人物LoRA加上權重0.7的wlop畫風LoRA

上面的圖就是同時使用人物LoRA與wlop大大的畫風LoRA的成果。

但是,Automatic1111會在把LoRA提示詞在LoRA混合進模型之後拿掉,所以一些特殊的Automatic1111語法是無法使用的,例如混合提示詞:

[Vallaria:old man:0.2]

下一篇,讓我們來看看如何準備自己的訓練圖,然後烘焙自己的LoRA!

參考連結


LoRA目錄:

留言
avatar-img
留言分享你的想法!
avatar-img
子不語怪・力・亂・神
28.8K會員
430內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2023/06/26
這篇討論的是LoRA訓練裡面,可能是最重要的一步,就是選圖的標準,以及提示詞的選取策略。 最近在詳細研究到底要如何練出優質穩定的LoRA,參考了幾個Youtuber,以及Reddit上的影片跟文字分享,把一些訣竅整理條列在下面。
Thumbnail
2023/06/26
這篇討論的是LoRA訓練裡面,可能是最重要的一步,就是選圖的標準,以及提示詞的選取策略。 最近在詳細研究到底要如何練出優質穩定的LoRA,參考了幾個Youtuber,以及Reddit上的影片跟文字分享,把一些訣竅整理條列在下面。
Thumbnail
2023/05/24
這篇要來討論,我們是否能靠著一張圖,就能鍛鍊出LoRA。
Thumbnail
2023/05/24
這篇要來討論,我們是否能靠著一張圖,就能鍛鍊出LoRA。
Thumbnail
2023/05/02
接續上一篇,我們開始用準備好的訓練素材圖跟規範圖來烘焙我們的高品質LoRA。
Thumbnail
2023/05/02
接續上一篇,我們開始用準備好的訓練素材圖跟規範圖來烘焙我們的高品質LoRA。
Thumbnail
看更多
你可能也想看
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
介紹朋友新開的蝦皮選物店『10樓2選物店』,並分享方格子與蝦皮合作的分潤計畫,註冊流程簡單,0成本、無綁約,推薦給想增加收入的讀者。
Thumbnail
介紹朋友新開的蝦皮選物店『10樓2選物店』,並分享方格子與蝦皮合作的分潤計畫,註冊流程簡單,0成本、無綁約,推薦給想增加收入的讀者。
Thumbnail
從三月開始到現在,學習AI算圖差不多半年。這半年來,遇過最困難的挑戰,就是如何建構多人構圖。
Thumbnail
從三月開始到現在,學習AI算圖差不多半年。這半年來,遇過最困難的挑戰,就是如何建構多人構圖。
Thumbnail
因為最近在玩這篇ACG LoRA的寫實風運用 - Stable Diffusion 心得中的內容,所以繼約兒後也嘗試了2B的LoRA。
Thumbnail
因為最近在玩這篇ACG LoRA的寫實風運用 - Stable Diffusion 心得中的內容,所以繼約兒後也嘗試了2B的LoRA。
Thumbnail
畫好玩的,只是有個大致的特徵,細節其實很多吐槽點,飾品也沒跟遊戲裡完全一樣。 這篇不算教學所以發在繪本專題內,只是日常小玩意,所以其實也沒什麼好教的,直接去下載現成的zelda lora使用即可生出類似成品。如果對角色特別有愛的再去DIY煉成Lora。 CG質感還是保留一點感覺好一點。
Thumbnail
畫好玩的,只是有個大致的特徵,細節其實很多吐槽點,飾品也沒跟遊戲裡完全一樣。 這篇不算教學所以發在繪本專題內,只是日常小玩意,所以其實也沒什麼好教的,直接去下載現成的zelda lora使用即可生出類似成品。如果對角色特別有愛的再去DIY煉成Lora。 CG質感還是保留一點感覺好一點。
Thumbnail
這篇要來討論,我們是否能靠著一張圖,就能鍛鍊出LoRA。
Thumbnail
這篇要來討論,我們是否能靠著一張圖,就能鍛鍊出LoRA。
Thumbnail
整整一個月前,我開始接觸AI繪圖,它帶給我的震撼,開啟了我一個月的追尋之旅。
Thumbnail
整整一個月前,我開始接觸AI繪圖,它帶給我的震撼,開啟了我一個月的追尋之旅。
Thumbnail
這次的測試純粹是我個人好奇同一組繪圖prompt分別使用在真人風格與動漫風格的model下,會有什麼差別? 真人風格的model使用Basil mix,動漫風格的model使用anything-v4.5。Lora來源為C站的瑪奇瑪Lora。
Thumbnail
這次的測試純粹是我個人好奇同一組繪圖prompt分別使用在真人風格與動漫風格的model下,會有什麼差別? 真人風格的model使用Basil mix,動漫風格的model使用anything-v4.5。Lora來源為C站的瑪奇瑪Lora。
Thumbnail
奮戰整整三天,終於可以讓妳在任何模組上出現,這感覺真好。😊 來說說為何使用LoRA,還有它的一些特性。
Thumbnail
奮戰整整三天,終於可以讓妳在任何模組上出現,這感覺真好。😊 來說說為何使用LoRA,還有它的一些特性。
Thumbnail
這一篇是Lora系列文的最後一篇,講一下如何使用Lora,如果你已經懂的使用Lora那可以跳過這一篇。
Thumbnail
這一篇是Lora系列文的最後一篇,講一下如何使用Lora,如果你已經懂的使用Lora那可以跳過這一篇。
Thumbnail
這次來講一下在stable diffusion webui中如何自己訓練Lora模型。Lora模型的訓練算是有點複雜,我一樣試著儘量講的淺顯易懂,它不難,只是步驟多而已。有了Lora之後你可以儘情的畫出你的偶像,你的夢中情人,你珍藏的動漫人物,還有你所有想畫但畫不出來的人。
Thumbnail
這次來講一下在stable diffusion webui中如何自己訓練Lora模型。Lora模型的訓練算是有點複雜,我一樣試著儘量講的淺顯易懂,它不難,只是步驟多而已。有了Lora之後你可以儘情的畫出你的偶像,你的夢中情人,你珍藏的動漫人物,還有你所有想畫但畫不出來的人。
Thumbnail
回想起 2010 年左右,當時網頁遊戲《臥龍吟》橫空出世,隨之而來的海量相似題材遊戲品質參差不齊,但那些作品都有個共通點,就是似乎都「參考或使用」了同一款經典作品的頭像。 經過了 13 年,在透過 Stable Diffuston + Lora 的模型訓練以後,約莫 30 分鐘左右的時間就能開始以
Thumbnail
回想起 2010 年左右,當時網頁遊戲《臥龍吟》橫空出世,隨之而來的海量相似題材遊戲品質參差不齊,但那些作品都有個共通點,就是似乎都「參考或使用」了同一款經典作品的頭像。 經過了 13 年,在透過 Stable Diffuston + Lora 的模型訓練以後,約莫 30 分鐘左右的時間就能開始以
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News