Stable Diffusion -- 訓練LoRA（五）
閱讀時間約 5 分鐘
前言
這篇要來討論，我們是否能靠著一張圖，就能鍛鍊出LoRA。
之前在Youtube上介紹Stable Diffusion很有名的光頭佬Olivio Sarikas發過一個影片，介紹了如何使用一張圖來訓練LoRA：
我原本以為他要教如何從一張圖，生成許多素材圖來烘焙LoRA，但沒想到他是真的只靠一張圖，經過放大分割成二十幾張小圖來訓練LoRA。這樣的訓練法其實也是可行的，但是它只能用在風格、場景型的LoRA，而且對整體風格的干擾非常嚴重，除非是要大量生成類似的場景，要不然用處不大。
那，我們真的能只靠一張圖來生成LoRA需要的訓練素材圖嗎？
根據我在
Stable Diffusion進階 -- ControlNet新功能Reference
做的觀察，理論上只要是Reference能夠參照複製的角色圖，我們就能製作出大量的素材圖來訓練LoRA。而這篇就要來實作驗證。
實驗
這次我想從一個比較模糊的角色圖開始，藉由設定角色的個性與經歷來建立她的外貌特徵，然後開始產生素材圖，用這樣的方式模擬一般角色發想的流程。
這次的實驗從之前的一副圖「姐妹會秘儀」開始，由於這張圖的構圖非常有趣，充滿故事性，畫中的每個人物似乎都有一個可以說的故事，於是我決定把我覺得最有感覺的角色獨立出來製作LoRA：
在這幅畫之中，這個角色只有一個大略的模糊形象跟衣著特色，如果要製作當成LoRA訓練的素材，解析度必須高，角色的五官特徵必須足夠銳利，否則就會練出一堆爛掉的圖。
所以首先必須將圖局部放大之後再Inpaint，並且用繪圖軟體修掉斑點與太過模糊的細節：
從這個基礎角色圖，可以歸納出這個角色的外部特徵：
黑髮，高馬尾，深藍色眼睛，柳眉，三十歲以上，嚴肅，兩分瀏海。
接著來使用ControlNet的Reference前處理器來抽取這張基礎圖的特徵，然後透過不斷嘗試不同的提示詞來製作類似的角色：
經過幾次測試調整，我使用這樣的正面提示詞來引導原始參照圖產生我要的結果：
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.2), (1girl:1.2),
35 years old, long ponytail, black hair, victorian dress, red dress, shawl, long sleeves, wide sleeves,
serious face,
extreme detailed, highest detailed, fantasy, dynamic pose, half body portrait
在這串提示詞中，35 years old, long ponytail, black hair, victorian dress, red dress, shawl, long sleeves, wide sleeves限制了角色的外部特徵，serious face限制了角色的表情，dynamic pose保證我可以產出多樣的姿態與攝影機角度，確保LoRA訓練時的素材圖擁有不同角度與光影。下面是幾張產生的訓練圖：
我使用了大約四十張訓練素材圖，然後使用這幾篇文章的流程來使用Google Colab訓練LoRA：
藉此產生了LoRA。
驗證
我使用X/Y/Z plot來測試在不同的權重，不同的表情在原始模型GhostMix下的表現：
另外也要確認這個LoRA可以在其他模型，例如擬真系的RealDosMix裡面運作：
就這樣，我們完成了用一張草圖訓練出LoRA的策略了！
這個方法目前僅適用於能夠用ControlNet的Reference來再現特徵的圖，目前已知擬真系與真實照片不太能用這方法來製造訓練素材，所以目前它只適用於動漫畫人物的訓練。
祝大家AI算圖愉快！
LoRA目錄：
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
這是一篇關於學習希塔療癒課程的心得分享，包括課程的感受、內容、以及對生活產生的影響。在課程結束後發現生活有了不同的選擇，能夠開心、平和地生活。透過挖掘轉換信念，發現自己能夠更好地處理困難的情況，對別人的情緒也能更穩定地應對。在課程中有許多豐富的實作練習，讓她有如學習魔法般的興奮感。
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
關於 SORA 技術原理的圖像式解說，內容從通用型人工智慧到生成運算的原理以及相關的技術研究成果。
提供了使用生成運算方式的 Diffusion Transformer 介紹和進階閱讀的指路。分享 AI 研究領域的開放性和合作精神，以及對視覺產業可能帶來的影響。
（點文字可以看到原繪師發布的推文圖片，是參照畫的練習圖）
下午培訓營的老師加開了線上畫圖，線上看別人畫圖一度看到忘記動筆，就好像看哀居短影片裡的人畫圖一樣，很讓人著迷。但別忘了，唯有自己動筆，才會是你的。腦袋、眼睛和手部肌肉才會記得，你畫出每一筆的感覺。
不斷試錯，擦掉重來，反覆練習。
偶爾還
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
可能包含敏感內容
一個雙手撫弄頭髮的女生... Tensor.Art 連結在此，登入後可以使用 做同款(Remix) 功能產生類似圖片喔(AI 生圖)。
好的，廢話不多說，直接提供 ControlNet 的 Openpose 圖片~
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
這是一篇關於學習希塔療癒課程的心得分享，包括課程的感受、內容、以及對生活產生的影響。在課程結束後發現生活有了不同的選擇，能夠開心、平和地生活。透過挖掘轉換信念，發現自己能夠更好地處理困難的情況，對別人的情緒也能更穩定地應對。在課程中有許多豐富的實作練習，讓她有如學習魔法般的興奮感。
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
關於 SORA 技術原理的圖像式解說，內容從通用型人工智慧到生成運算的原理以及相關的技術研究成果。
提供了使用生成運算方式的 Diffusion Transformer 介紹和進階閱讀的指路。分享 AI 研究領域的開放性和合作精神，以及對視覺產業可能帶來的影響。
（點文字可以看到原繪師發布的推文圖片，是參照畫的練習圖）
下午培訓營的老師加開了線上畫圖，線上看別人畫圖一度看到忘記動筆，就好像看哀居短影片裡的人畫圖一樣，很讓人著迷。但別忘了，唯有自己動筆，才會是你的。腦袋、眼睛和手部肌肉才會記得，你畫出每一筆的感覺。
不斷試錯，擦掉重來，反覆練習。
偶爾還
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
可能包含敏感內容
一個雙手撫弄頭髮的女生... Tensor.Art 連結在此，登入後可以使用 做同款(Remix) 功能產生類似圖片喔(AI 生圖)。
好的，廢話不多說，直接提供 ControlNet 的 Openpose 圖片~