方格精選
Stable Diffusion -- 訓練LoRA（一）
更新於 2023/05/24閱讀時間約 6 分鐘
閒聊
剛剛在刷股癌的IG，看到一個很有趣的秘辛：
從我自己學了LoRA之後，在動漫模型裡練出了我要的角色圖樣之後，再餵進colab訓練出LoRA，然後把LoRA用在真人向模型，結果就能弄出各種逆天實景：
所以，Stable Diffusion上面除了學好提示詞算是基本技巧，接下來的LoRA，ControlNet，3D OpenPose Editor等都是讓你的出圖時間更快的進階技巧。確實可以大幅縮短創作時間。
閒話時間結束了，開始正文吧。
準備
LoRA可以在很多地方下載不同的角色、物品、風格，例如Civita.com，huggingface.co。但是如果你想要訓練自己的LoRA，像我一樣，那你需要準備好訓練的素材圖，才能順利烘焙LoRA。
- 數量：依照經驗，7張到100張都可以，但是張數過少，同一張訓練的次數會非常多，訓練出來的LoRA在高權重的時候會讓算出來的圖嚴重變形（尤其是背景部分）。所以最好是20張上下。當然你可以用鏡像出圖的方法讓訓練圖數量加倍，但這樣還是沒辦法避免高權重下整體變形的問題。
- 品質：如果是訓練人物或物品的LoRA，最好不要有太多同一個角度，同一個表情的圖片，尤其在張數少的情況下，訓練出來的LoRA會有人物表情僵直的問題。人物的臉通常是LoRA的重點，最好能有面孔多角度，不同光影，不同表情，不同服裝配件，讓模型能夠涵蓋夠多的情況。切記不要加入模糊失焦、被擋住部份臉部的圖片，除非你準備的張數夠多。
- 尺寸：以Stable Diffusion 1.X為基準訓練的圖片要求至少要是512x512像素的正方形圖片，而Stable Diffusion 2.X的話圖片至少要768x768像素。
裁切
當我們準備好圖片之後，就要開始裁切，如果沒有洩密疑慮的話，什麼美術工具都不會的美術小白可以使用BIRME這個網站，把過大的尺寸裁切成512x512的訓練素材圖：
預處理
接下來是最重要的一步，LoRA的品質除了跟訓練圖本身的品質，以及訓練的設定有關之外，另一個重點是訓練圖的提示詞文本。
有關如何在Automatic1111上幫訓練圖提煉提示詞文本，在AI繪圖-用Lora打造你的夢幻模特兒吧!三集之二：訓練Lora模型的圖片預處理小節就有詳盡的步驟，請自行觀看。
這裡要提的是不同處：
在Use BLIP for caption與Use deepbooru for caption這兩個選項，我都用BLIP來提煉提示詞，因為deepbooru給的提示詞實在太多了，很多其實是瞎猜，如果你的訓練圖超過30張，光是刪掉不對的提示詞就夠累了。
第二點，你必須打開每個提示詞文本檔案，一個一個修正提示詞，否則你怎麼訓練都不會練出有用的LoRA。
以我想要訓練的角色為例：
- 名字（提示詞）：Vallaria。
- 外表特徵：銀白色頭髮，白皮膚，深藍色眼眸，黑眉毛，有雀斑。
名字最好是夠獨特的，如果太菜市場的名字，會跟模組裡面的同名物體衝突，如果真的不想取其他名字，試試看後面加數字，例如Jack999，避免衝突。
（順帶一提，SD裡面真的有一個叫Jack的提示詞，會算出成年男性，雖然每次叫出來的Jack都長得不一樣😄）
當你打開提示詞文件時，可能會看到像這樣的敘述：
a woman with white hair and blue eyes and black robe and a flower on the shoulder of the robe at a snowy street.
- 此時，要將對象提示詞a woman換成你要的角色名，在這個例子要換成Vallaria。
- 接著，把關於髮色white hair與眼眸顏色blue eyes等我們定義好的外表特徵也刪掉。
- 接著，觀察原本的圖片，把不是你想要但是顯示在圖片上的提示詞寫進去，例如頭上有戴帽的話就要加hat，背景的光線佈局與季節是秋光autumn lights，她手上有一根燭台之類的，與角色特徵無關，但是預處理程式沒抓出來的事情。
更改過的提示詞會變成這樣：
Vallaria with black robe and a hat on her head and a flower on the shoulder of the robe at a snowy street, autumn lights, candle stick on her hand
你大概會覺得這句子文法不通。沒關係，電腦在訓練時會將整個提示詞文本用自己的方法拆成一堆單詞，電腦是不太在乎文法的。
至於為什麼要刪掉特徵，加上沒提到的事情，是因為這就是訓練的目的。
AI學習算圖，就是建立在圖形與提示詞的關聯上，所以當電腦發現這是一個藍眼睛白皮膚白頭髮的女性，但是卻在提示詞文本上找不到眼睛顏色、頭髮顏色、皮膚顏色的提示詞，卻反而每張圖都有一個叫Vallaria的提示詞時，他就會學到Vallaria等於藍眼睛白髮的白人女性，以及諸如臉型，五官比例等等特徵。
相反地，你不要AI建立關聯的特質，就必須要盡量標示出來，例如我的訓練圖八成以上Vallaria都有戴上帽子或公主冠等頭飾，就必須要在每個出現的圖片上都標示在提示詞文本上，否則AI會認為頭上有頭飾是這個角色的外表特徵，訓練出來的LoRA會變成Vallaria出現時，頭上必戴公主冠的問題。
準備訓練
將訓練圖與文本都準備好之後，請上Google Drive確認自己有足夠多的空間（大約1到2GB），沒有Google帳號的請申請，我們將在下一篇開始訓練LoRA，而且這個方式不需要本機安裝任何東西，也不需要任何怪獸顯卡，人人都能用！
接下來，就是正式訓練：
參照
LoRA目錄：
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
在 Stable Diffusion 中有時人物的大小遠近好像很隨機，除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了，我在本文中列出較重要的8個有感且實用的更新項目。
而那些較為底層的，或是專給高手使用的更新項目我就不細說了。
因為最近 Vlad 頻繁出問題，且Img2Img算一張1024x2048、Denoising Strength 0.45 的圖要整整兩個小時，想說暫時先用 A1111 應急。沒想到 A1111 現在也是半斤八兩，沒有 --no-half --no-half-vae u 一定出問題不說，Img2Img
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
先說結論：
演算Img2Img時，Sampling Methods（取樣方法）中Karras類型比較忠於原圖，非Karras類型比較放飛自我。
這篇主要是比較目前在stable diffusion webui下的20種採樣方式的圖片生成速度與生成結果比較。此處所說的採樣即是Sampling method，也有的會翻成取樣方法。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
在 Stable Diffusion 中有時人物的大小遠近好像很隨機，除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了，我在本文中列出較重要的8個有感且實用的更新項目。
而那些較為底層的，或是專給高手使用的更新項目我就不細說了。
因為最近 Vlad 頻繁出問題，且Img2Img算一張1024x2048、Denoising Strength 0.45 的圖要整整兩個小時，想說暫時先用 A1111 應急。沒想到 A1111 現在也是半斤八兩，沒有 --no-half --no-half-vae u 一定出問題不說，Img2Img
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
先說結論：
演算Img2Img時，Sampling Methods（取樣方法）中Karras類型比較忠於原圖，非Karras類型比較放飛自我。
這篇主要是比較目前在stable diffusion webui下的20種採樣方式的圖片生成速度與生成結果比較。此處所說的採樣即是Sampling method，也有的會翻成取樣方法。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來