Stable Diffusion -- 如何使用LoRA
閱讀時間約 5 分鐘
感想
在文章最前頭，先說感想：
奮戰整整三天，終於可以讓妳在任何模組上出現，這感覺真好。😊
問題
當我們在用AI算圖的時候，無論是MidJourney，DALL-E，Stable Diffusion還是其他生成式AI算圖，最常遇到的兩個麻煩事是：
- 角色在同一個模組逐漸變形
- 角色跨模組直接變形
- 知名角色，模組不認識
第一個情形是，當你用提示詞好不容易算出一個你喜歡的角色時，想在同一個模型裡面使用不同姿勢、場景、表情、服裝與藝術家風格等調整角色時，AI算出來的圖不一定都跟原本你一開始算出來的角色一樣。這時候最常用的做法就是不停微調提示詞，然後大量產圖拼手氣。
第二個情形是，一模一樣的提示詞在模組A能產生你要的角色形象，但是在模組B不一定能產生非常相像的角色，例如下圖：
這時候你只能靠不斷調整提示詞來拼運氣，但有時候不管怎麼調整都沒用。
第三個情況在動漫模組非常常見，某個在動漫模組非常知名的角色，跑到寫實模組裡面就對應不到任何相像的角色，例如巴洛克大叔在他的文章中提到的問題。
使用LoRA
為了解決這些問題，生成式AI有許多不同特性的解法，今天要介紹的LoRA就是一個才剛在Stable Diffusion上實作沒多久，但是因為效果非常顯著，所以很快就流行起來的手段。
LoRA在Automatic1111上的使用方法很簡單，無論是自己烘焙的LoRA或者從huggingface，Civitai等網站抓下來的LoRA，例如這個薩爾達公主的LoRA，抓下來之後放入/models/Lora/ 檔案夾之後，重新啟動Automatic1111之後就能用了！
至於確實的用法，請參考這篇巴洛克大叔的文章，有非常詳盡的步驟介紹。
這邊提一下最簡單的用法：
- 在Show/Hide Extra Network按鈕上按一下打開Extra Network區域
- 在新出現的區域上選擇Lora標籤，挑選自己要的LoRA
- LoRA會以 <lora:檔案名:權重>的型式出現在正面提示詞裡面（也只能用在正面提示詞）
- 把啟動提示詞填在正面提示詞裡面，每個LoRA的正面提示詞都不一樣，在下載的頁面中會提到，例如薩爾達公主的LoRA下載頁面，作者提到他的提示詞是princess zelda
使用LoRA的時候要注意的是，LoRA算是一種對整個模型都會產生影響的外掛，所以給他的權重過高，會造成整個畫面嚴重變形，而且不同的LoRA對不同模型的干擾程度都不一樣，需要自行測試。
以我自己烘焙出來的LoRA為例，在不同模型不同權重下的結果：
(extremely detailed CG unity 8k wallpaper),
digital painting of Vallaria with black dress,
headband, hair ribbons, solo, fantasy,
best quality, masterpiece, hdr, ultra highres,
trending on artstation
<lora:Vallaria30Epochs:0.0>
權重為0的時候其實毫無營響。當權重到達0.5以上，就會開始產生破圖。某些模組甚至在0.3的時候就連畫風與背景風格都會改變。所以在實際使用時，都會先從0.1開始慢慢往上加，測試這個模組能夠容忍不變形的極限。
順帶一提，LoRA其實可以共同使用，所以使用人物的LoRA同時使用風格類的LoRA理論上是可行的：
上面的圖就是同時使用人物LoRA與wlop大大的畫風LoRA的成果。
但是，Automatic1111會在把LoRA提示詞在LoRA混合進模型之後拿掉，所以一些特殊的Automatic1111語法是無法使用的，例如混合提示詞：
[Vallaria:old man:0.2]
下一篇，讓我們來看看如何準備自己的訓練圖，然後烘焙自己的LoRA！
參考連結
- AI繪圖-用Lora打造你的夢幻模特兒吧!三集之一：Kohya's GUI安裝
- What are LoRA models and how to use them in AUTOMATIC1111
- ULTIMATE FREE LORA Training In Stable Diffusion! Less Than 7GB VRAM!
- Stable Diffusion LoRA models: a complete guide
LoRA目錄：
為什麼會看到廣告
留言0
查看全部
你可能也想看
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
想讓 Stable Diffusion 算圖更細膩精緻？本文分享兩個實用技巧，分別是 ControlNet Tile Resample，以及 Detail Tweaker LoRA，輕鬆實現細節控制，讓你的圖片從粗糙到精緻，質感大升級！
開源軟體時常更新版本，有時新出的外掛擴充或是Stability.Ai所更新發佈的新模型會需要更新版本的WebUi操作介面才能運行。所以每隔一段時間都要記得去注意一下是否有修正/新增功能的版本可以更新。
確認目前使用的WebUi版本~
這個Stable Diffusion WebUi是由AUT
這篇文章講解在stable diffusion webui上安裝SDXL。
在stable diffusion webui上使用SDXL的步驟不難，比較要注意的是SDXL的幾個重點差異，你要先依這個差異來評估自己是否要升級，以免白忙一場。
修圖的時候，有沒有遇過「如果當初再左邊一點就好了！」「如果當初廣角一點就好了！」以前只能想辦法手工 P 出來，但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型，除了可以做圖片內修補外，也能往外擴展補完圖片 (outpaintng)！實在太強了！趕快來看
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
之前用20種採樣方式，隨機生成四張圖，好像沒什麼可比性，每一組的生成結果都差不多是有好有壞。如果畫四張不同的圖比不出好壞，那全部畫同一張圖的話呢?這次的測試就是針對這個疑問而進行的。
先說結論：
演算Img2Img時，Sampling Methods（取樣方法）中Karras類型比較忠於原圖，非Karras類型比較放飛自我。
這篇主要是比較目前在stable diffusion webui下的20種採樣方式的圖片生成速度與生成結果比較。此處所說的採樣即是Sampling method，也有的會翻成取樣方法。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
想讓 Stable Diffusion 算圖更細膩精緻？本文分享兩個實用技巧，分別是 ControlNet Tile Resample，以及 Detail Tweaker LoRA，輕鬆實現細節控制，讓你的圖片從粗糙到精緻，質感大升級！
開源軟體時常更新版本，有時新出的外掛擴充或是Stability.Ai所更新發佈的新模型會需要更新版本的WebUi操作介面才能運行。所以每隔一段時間都要記得去注意一下是否有修正/新增功能的版本可以更新。
確認目前使用的WebUi版本~
這個Stable Diffusion WebUi是由AUT
這篇文章講解在stable diffusion webui上安裝SDXL。
在stable diffusion webui上使用SDXL的步驟不難，比較要注意的是SDXL的幾個重點差異，你要先依這個差異來評估自己是否要升級，以免白忙一場。
修圖的時候，有沒有遇過「如果當初再左邊一點就好了！」「如果當初廣角一點就好了！」以前只能想辦法手工 P 出來，但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型，除了可以做圖片內修補外，也能往外擴展補完圖片 (outpaintng)！實在太強了！趕快來看
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
之前用20種採樣方式，隨機生成四張圖，好像沒什麼可比性，每一組的生成結果都差不多是有好有壞。如果畫四張不同的圖比不出好壞，那全部畫同一張圖的話呢?這次的測試就是針對這個疑問而進行的。
先說結論：
演算Img2Img時，Sampling Methods（取樣方法）中Karras類型比較忠於原圖，非Karras類型比較放飛自我。
這篇主要是比較目前在stable diffusion webui下的20種採樣方式的圖片生成速度與生成結果比較。此處所說的採樣即是Sampling method，也有的會翻成取樣方法。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來