ACG LoRA的寫實風運用 - Stable Diffusion
更新於 2023/07/18閱讀時間約 21 分鐘
＊本篇心得Automatic1111和Vlad Diffusion介面均適用。
ACG LoRA的寫實風難題
用ACG圖片訓練出來的LoRA models，時有難以使用寫實風checkpoints models繪製出滿意成果的情況。
之前我會嘗試先用ACG風格的checkpoint運算text2Image，再使用寫實風的checkpoint運算image2image，不過結果往往不盡人意。
但ControlNet推出tile resample後，上述方式已成為能有效運用的方法了。
以下所有算圖成果的-Prompts均如下：
bad-hands-5, ng_deepnegative_v1_75t, (low quality, worst quality:1.4), (monochrome:1.1), (greyscale), watermark, text, blurry, jpeg artifacts, cropped, normal quality, signature, username, artist name, cartoon, canvas frame, lowres, (disfigured), (bad art), (deformed), (extra limbs), (b&w), weird colors, (duplicate), (morbid), (mutilated), mutated hands, (poorly drawn hands), (poorly drawn face), (mutation), (ugly), (bad proportions), cloned face, out of frame, gross proportions, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), fused fingers, (long neck), lowres, (grayscale), (skin spots), acnes, skin blemishes, (age spot),*bad-hands-5 Textual Inversion由此下載
*ng_deepnegative_v1_75 Textual Inversion由此下載
使用的checkpoint models有二：
寫實風：FantasticMix
ACG風：SweetMix
＊請注意！本篇心得無18禁內容，但連結連往的CIVITAI網頁會有。
使用的upscale演算法（放大演算法，會在HiresFix、Tiled Diffusion用到）：4x_NMKD-Superscale-SP_178000_G
下載該網頁的「4x_NMKD-Superscale-SP_178000_G.pth」檔案後，請放到models\ESRGAN資料夾內。
下載該網頁的「4x_NMKD-Superscale-SP_178000_G.pth」檔案後，請放到models\ESRGAN資料夾內。
約兒
說真的，約兒的LoRA能直接用在寫實風checkpoint model上，例如下圖：
+ultra realistic 8k cg, masterpiece, ((ultra detailed background, delicate pattern, intricate detail)), (highly detailed, fine details), best quality, 1girl, (photorealistic:1.4),beautiful lighting, absurdres, yor briar, 1girl, backlighting, bare shoulders, black background, black dress, black gloves, black hair, blood, blood on face, blood on weapon, breasts, closed mouth, cowboy shot, dress, earrings, expressionless, fingerless gloves, floating hair, floral print, flower, gloves, gold earrings, gold hairband, hair flower, hair ornament, hairband, holding, holding weapon, jewelry, large breasts, light particles, long hair, looking at viewer, off-shoulder dress, off shoulder, petals, red eyes, rose, rose petals, rose print, short hair with long locks, sidelocks, solo, spikes, thighs, two-sided dress, two-sided fabric, weapon, RAW photo, film grain, <lora:yor:1>,Steps:30Sampler: Euler aCFG scale: 7Seed: 2855893784Size: 512x768Model: fantasticmix_v40Denoising strength: 0.4Clip skip: 2Hires.fix upscale: 2Hires.fix upscaler: 4x_NMKD-Superscale-SP_178000_G
嗯，成果不錯，但接著來試試看完全一樣的設定，不過先使用SweetMix checkpoint model運算：
誠心地說，我更喜歡SweetMix算出來的神韻風采。那麼，下一步即是使用ControlNet的tile resample功能搭配FantasticMix來轉換為寫實風格了。依然是和上面完全一樣的設定，但搭配使用ControlNet的tile resample，成果如下：
我個人是更喜歡這個版本算出來的約兒（P.S. 因為與這次心得主題無關，手指問題我沒有花時間修復）。特別需要提出來的事項有三：
- 這完全是使用Text2Image的成果，沒有用到Image2Image（圖算圖）；
- tile resample的Down Sampling Rate我設為8；
- 因為是Text2Image，所以tile resample需要加入SweetMix算出來的ACG版本當作參考圖。
ACG checkpoint算出來的成果，角色的姿態往往更加多元動態，我覺得這可能是因為ACG角色往往有更誇張、更多元的動作，所以用ACG圖片訓練出來的checkpoint也就承襲了這樣的優點。
愛德（愛德華·愛力克）
《鋼鍊》的愛德就很難搞了，沒辦法像SpyXFamily的約兒能直接用Text2Image一次搞定。直接讓大家看看用愛德LoRA + FantasticMix算出來的成果便能知道原因：
+ultra realistic 8k cg, masterpiece, ultra detailed background, delicate pattern, intricate detail, highly detailed, fine details, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, backlighting, black background, ((black jacket)), ((white gloves)), yellow hair, grin, cowboy shot, ((red hoody)), ((red coat)), light particles, hair braid, looking at viewer, yellow eyes, solo, RAW photo, film grain, <lora:edwardElricFullmetal_v3:1>,Steps: 30Sampler: Euler aCFG scale: 5Seed: 3400642652Size: 512x768Model: fantasticmix_v40Denoising strength: 0.4Hires.Fix upscale: 2Hires.Fix upscaler: 4x_NMKD-Superscale-SP_178000_G
媽的、見鬼了，而且不知道為啥我覺得有點楊麗花（沒有不敬的意思），變成像是富有英氣的女角。我認為有這樣的結果，可能的原因有下列兩點：
- 熱衷於Stable Diffusion的男性阿宅數量遠遠超過女性阿宅，導致人物類checkpoint models的訓練非常偏重女性角色，尤其NSFW類的models更明顯。
- 愛德相較約兒更「卡通化」，也就是「更偏離現實的五官比例、形狀和臉型」，導致寫實風的checkpoint model「難以看懂」，無法妥當地轉換為寫實臉孔。
......總之先和約兒一樣如法炮製，保留所有設定但改用ACG風的SweetMix，不過這次我就先不用Hires.Fix了，因為根據經驗接下來轉寫實風的步驟失敗率會很高，不想先算大圖：
嘛、不意外地很不錯，接著嘗試用這張搭配tile resample，成果如下：
......是沒有那麼像歌仔戲的英俊小生了，但還是不太行，尤其眼睛實在太大。這時我就想了，乾脆來試試看ControlNet另一個新功能reference_only吧（仍保留相同設定，但seed改為隨機）：
.......反而變得更糟了。這時我想說有沒有可能是因為已經用ACG風的原圖當參考了，還多重複了一次相同的正面提示詞所導致，便乾脆把正面提示詞全空白再試一次：
........結果不只變得像ACG風（畢竟參考了原圖嘛）還性轉了（也似乎證實了我的「偏重女角」推測）。不得不說轉得還蠻可愛的，但這不是我想要的成果，所以我調整了正面提示詞再做嘗試：
+ultra realistic 8k cg, masterpiece, ultra detailed background, delicate pattern, intricate detail, highly detailed, fine details, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres,
+<lora:edwardElricFullmetal_v3:1>
事實證明reference_only不是解答，還是得回到Tile Reample上，於是我回到使用原本的ACG風原圖為Tile Resample的參考圖搭配FantasticMix，但持續調整正面提示詞和使用隨機seed，終於獲得一個還能接受的成果：
+ultra realistic 8k cg, masterpiece, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, <lora:edwardElricFullmetal_v3:1>, (cosplay), yellow eyes, red coat,
接著我將上圖傳到Image2Image放大，除了負面提示詞都有略作調整，最後成果如下：
+ultra realistic 8k cg, masterpiece, best quality, 1boy, (((flat chin))), (((wide chin))), (((manly face))), (((man's face))), (muscular face), (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, <lora:edwardElricFullmetal_v3:0.1>, (cosplay), yellow eyes, red coat, RAW photo, film grain, <lora:add_detail:-1>, thin lips,_bad-hands-5, ng_deepnegative_v1_75t, (low quality, worst quality:1.4), (monochrome:1.1), (greyscale), watermark, text, blurry, jpeg artifacts, cropped, normal quality, signature, username, artist name, cartoon, canvas frame, lowres, (disfigured), (bad art), (deformed), (extra limbs), (b&w), weird colors, (duplicate), (morbid), (mutilated), mutated hands, (poorly drawn hands), (poorly drawn face), (mutation), (ugly), (bad proportions), cloned face, out of frame, gross proportions, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), fused fingers, (long neck), lowres, (grayscale), (skin spots), acnes, skin blemishes, (age spot), (((beard))), (((moustache))),Steps: 30Sampler: DPM++ 2S a KarrasCFG scale: 6Seed: 2652740664Size: 1024x1536Model: fantasticmix_v40Denoising strength: 0.5Tiled Diffusion upscaler: 4x_NMKD-Superscale-SP_178000_GTiled Diffusion scale factor: 2Tiled Diffusion: "{'Method': 'Mixture of Diffusers', 'Tile tile width': 128, 'Tile tile height': 128, 'Tile Overlap': 24, 'Tile batch size': 1, 'Upscaler': '4x_NMKD-Superscale-SP_178000_G', 'Upscale factor': 2, 'Keep input size': True}"ControlNet: "preprocessor: tile_resample, model: control_v11f1e_sd15_tile [a371b31b], weight: 1, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: True, control mode: Balanced, preprocessor params: (64, 1, 64)"
因為FantasticMix會過度增加細節，所以這裡我使用了調整細節的LoRA嘗試減少細節量，效果很不錯，不過沒法改掉衣服不必要的波浪邊緣。
下載LoRA Detail Tweaker（細節調整）：https://civitai.com/models/58390/detail-tweaker-lora-lora
下載LoRA Detail Tweaker（細節調整）：https://civitai.com/models/58390/detail-tweaker-lora-lora
*此LoRA是少數可以使用負權重的LoRA，負＝減少細節，正＝增加細節，數值在-2~2之間，例如<lora:add_detail:-1>。
另外，實際上嘴唇的部分有手動後製過，由以下正面提示詞算出來的圖取代：
+ultra realistic 8k cg, masterpiece, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, <lora:edwardElricFullmetal_v3:1>, (cosplay), yellow eyes, red coat,
主要是愛德LoRA提示詞的權重：<lora:edwardElricFullmetal_v3:0.1>和<lora:edwardElricFullmetal_v3:1>的差別。
總結來說，比約兒要多花很多功夫，且成果可能還沒有約兒的滿意（依然有點像女性），好的方面則是成功使用了愛德的LoRA達成寫實風的成果。
——算是及格啦！
補充資料
ControlNet的Tile Resample、reference_only，以及MultiDiffusion的Tiled Diffusion、Tiled VAE，請參考我的以下三篇心得：
另外，若想使用Vlad Diffusion webui介面，可參考我的這篇心得：
祝算圖愉快！
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
昨天在滑巴哈的遊戲製作公會的時候看到一篇關於 ACG Creator 的文章
覺得做出來的成品看起來還不錯
而且還是台灣人做的引擎，很有興趣所以嘗試了一下
看起來跟 OICE 有點像是也讓我想到類似易次元這樣的平台
《act-age新世代演員》是在《周刊少年JUMP》上連載的一部漫畫，至今連載將近兩年，是近年難得能夠在JUMP上保持一定人氣的漫畫。故事講述一名透過自身經驗、完全沉浸在角色中的新人女演員夜凪景，在不同的演出機會中磨練自身的演技。該作品敘事風格極快且強調戲劇張力，本文將從技法與故事內容分析此部作品。
《Psycho-Pass心靈判官》是一部包含科幻、警探、犯罪、反烏托邦等元素的動畫。第一季的動畫，以科技感十足的世界觀、主要角色的成長與轉變、優秀的群像刻畫，還有思想充滿魅力的高智商反派角色等諸多特點，加上精彩而跌宕起伏的劇情，進一步帶出作品的思想，成功地吸引無數觀眾，並且廣獲好評。
BNA是由動畫公司TRIGGER製作、於今年3月開始播出的原創動畫，目前該作品已經完結。這部動畫的打鬥場面精采、魄力十足，角色之間的衝突與吶喊強大而感動人心，這是一段關於衝突與理解的故事。
〈人生畫廊〉由臺灣獨立遊戲開發團隊 751 Games推出，於今年4月雙平台同步上架，它以獨特的美術風格橫掃各大獎項，包含〈放視大賞〉金賞、最佳敘事獎、最佳遊戲設計獎。遊戲以解謎為主，第一章節為免費體驗，故事架構小巧不算複雜，大約一個小時內能完整遊玩。
《偕雲前往北北西》是漫畫家入江亞季連載中的作品，本作品在 2019 年獲「漫畫大賞」提名，名列年度推薦漫畫的十三部作品之一。故事講述一名 17 歲日本少年御山慧，與爺爺住在冰島雷克雅維克，一邊駕著愛車馳騁於北緯 64 度的大地上，一邊解決各式各樣的委託。
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
昨天在滑巴哈的遊戲製作公會的時候看到一篇關於 ACG Creator 的文章
覺得做出來的成品看起來還不錯
而且還是台灣人做的引擎，很有興趣所以嘗試了一下
看起來跟 OICE 有點像是也讓我想到類似易次元這樣的平台
《act-age新世代演員》是在《周刊少年JUMP》上連載的一部漫畫，至今連載將近兩年，是近年難得能夠在JUMP上保持一定人氣的漫畫。故事講述一名透過自身經驗、完全沉浸在角色中的新人女演員夜凪景，在不同的演出機會中磨練自身的演技。該作品敘事風格極快且強調戲劇張力，本文將從技法與故事內容分析此部作品。
《Psycho-Pass心靈判官》是一部包含科幻、警探、犯罪、反烏托邦等元素的動畫。第一季的動畫，以科技感十足的世界觀、主要角色的成長與轉變、優秀的群像刻畫，還有思想充滿魅力的高智商反派角色等諸多特點，加上精彩而跌宕起伏的劇情，進一步帶出作品的思想，成功地吸引無數觀眾，並且廣獲好評。
BNA是由動畫公司TRIGGER製作、於今年3月開始播出的原創動畫，目前該作品已經完結。這部動畫的打鬥場面精采、魄力十足，角色之間的衝突與吶喊強大而感動人心，這是一段關於衝突與理解的故事。
〈人生畫廊〉由臺灣獨立遊戲開發團隊 751 Games推出，於今年4月雙平台同步上架，它以獨特的美術風格橫掃各大獎項，包含〈放視大賞〉金賞、最佳敘事獎、最佳遊戲設計獎。遊戲以解謎為主，第一章節為免費體驗，故事架構小巧不算複雜，大約一個小時內能完整遊玩。
《偕雲前往北北西》是漫畫家入江亞季連載中的作品，本作品在 2019 年獲「漫畫大賞」提名，名列年度推薦漫畫的十三部作品之一。故事講述一名 17 歲日本少年御山慧，與爺爺住在冰島雷克雅維克，一邊駕著愛車馳騁於北緯 64 度的大地上，一邊解決各式各樣的委託。