Stable Diffusion -- 訓練LoRA（五）
閱讀時間約 5 分鐘
前言
這篇要來討論，我們是否能靠著一張圖，就能鍛鍊出LoRA。
之前在Youtube上介紹Stable Diffusion很有名的光頭佬Olivio Sarikas發過一個影片，介紹了如何使用一張圖來訓練LoRA：
我原本以為他要教如何從一張圖，生成許多素材圖來烘焙LoRA，但沒想到他是真的只靠一張圖，經過放大分割成二十幾張小圖來訓練LoRA。這樣的訓練法其實也是可行的，但是它只能用在風格、場景型的LoRA，而且對整體風格的干擾非常嚴重，除非是要大量生成類似的場景，要不然用處不大。
那，我們真的能只靠一張圖來生成LoRA需要的訓練素材圖嗎？
根據我在
Stable Diffusion進階 -- ControlNet新功能Reference
做的觀察，理論上只要是Reference能夠參照複製的角色圖，我們就能製作出大量的素材圖來訓練LoRA。而這篇就要來實作驗證。
實驗
這次我想從一個比較模糊的角色圖開始，藉由設定角色的個性與經歷來建立她的外貌特徵，然後開始產生素材圖，用這樣的方式模擬一般角色發想的流程。
這次的實驗從之前的一副圖「姐妹會秘儀」開始，由於這張圖的構圖非常有趣，充滿故事性，畫中的每個人物似乎都有一個可以說的故事，於是我決定把我覺得最有感覺的角色獨立出來製作LoRA：
在這幅畫之中，這個角色只有一個大略的模糊形象跟衣著特色，如果要製作當成LoRA訓練的素材，解析度必須高，角色的五官特徵必須足夠銳利，否則就會練出一堆爛掉的圖。
所以首先必須將圖局部放大之後再Inpaint，並且用繪圖軟體修掉斑點與太過模糊的細節：
從這個基礎角色圖，可以歸納出這個角色的外部特徵：
黑髮，高馬尾，深藍色眼睛，柳眉，三十歲以上，嚴肅，兩分瀏海。
接著來使用ControlNet的Reference前處理器來抽取這張基礎圖的特徵，然後透過不斷嘗試不同的提示詞來製作類似的角色：
經過幾次測試調整，我使用這樣的正面提示詞來引導原始參照圖產生我要的結果：
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.2), (1girl:1.2),
35 years old, long ponytail, black hair, victorian dress, red dress, shawl, long sleeves, wide sleeves,
serious face,
extreme detailed, highest detailed, fantasy, dynamic pose, half body portrait
在這串提示詞中，35 years old, long ponytail, black hair, victorian dress, red dress, shawl, long sleeves, wide sleeves限制了角色的外部特徵，serious face限制了角色的表情，dynamic pose保證我可以產出多樣的姿態與攝影機角度，確保LoRA訓練時的素材圖擁有不同角度與光影。下面是幾張產生的訓練圖：
我使用了大約四十張訓練素材圖，然後使用這幾篇文章的流程來使用Google Colab訓練LoRA：
藉此產生了LoRA。
驗證
我使用X/Y/Z plot來測試在不同的權重，不同的表情在原始模型GhostMix下的表現：
另外也要確認這個LoRA可以在其他模型，例如擬真系的RealDosMix裡面運作：
就這樣，我們完成了用一張草圖訓練出LoRA的策略了！
這個方法目前僅適用於能夠用ControlNet的Reference來再現特徵的圖，目前已知擬真系與真實照片不太能用這方法來製造訓練素材，所以目前它只適用於動漫畫人物的訓練。
祝大家AI算圖愉快！
LoRA目錄：
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
在 Stable Diffusion 中有時人物的大小遠近好像很隨機，除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了，我在本文中列出較重要的8個有感且實用的更新項目。
而那些較為底層的，或是專給高手使用的更新項目我就不細說了。
因為最近 Vlad 頻繁出問題，且Img2Img算一張1024x2048、Denoising Strength 0.45 的圖要整整兩個小時，想說暫時先用 A1111 應急。沒想到 A1111 現在也是半斤八兩，沒有 --no-half --no-half-vae u 一定出問題不說，Img2Img
txt2img 時，會用 512、768 等等大小來測試算圖，反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片，直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢？本文提供三個方法讓大家嘗試看看！
ControlNet發布了1.1新版本，新增了許多不同的model，本文介紹運算大圖時非常好用的Tile Resample model。
可能是這個問題太過基本，所以網路上幾乎沒有人在提問或回答，但我一開始嘗試Stable Diffusion時，常會遇到一個令我困擾的問題----紫色斑塊。
本教學使用Automatic 1111介面
AI繪圖風行至今，網上已有不少中文教學，包括教導如何訓練LoRA、LoCon等模型的文章，而訓練上述模型時，通常會經過一道「Preprocess Images」工序，中文稱為「圖片預處理」。
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
在 Stable Diffusion 中有時人物的大小遠近好像很隨機，除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了，我在本文中列出較重要的8個有感且實用的更新項目。
而那些較為底層的，或是專給高手使用的更新項目我就不細說了。
因為最近 Vlad 頻繁出問題，且Img2Img算一張1024x2048、Denoising Strength 0.45 的圖要整整兩個小時，想說暫時先用 A1111 應急。沒想到 A1111 現在也是半斤八兩，沒有 --no-half --no-half-vae u 一定出問題不說，Img2Img
txt2img 時，會用 512、768 等等大小來測試算圖，反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片，直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢？本文提供三個方法讓大家嘗試看看！
ControlNet發布了1.1新版本，新增了許多不同的model，本文介紹運算大圖時非常好用的Tile Resample model。
可能是這個問題太過基本，所以網路上幾乎沒有人在提問或回答，但我一開始嘗試Stable Diffusion時，常會遇到一個令我困擾的問題----紫色斑塊。
本教學使用Automatic 1111介面
AI繪圖風行至今，網上已有不少中文教學，包括教導如何訓練LoRA、LoCon等模型的文章，而訓練上述模型時，通常會經過一道「Preprocess Images」工序，中文稱為「圖片預處理」。
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。