ACG LoRA的寫實風運用 - Stable Diffusion
＊本篇心得Automatic1111和Vlad Diffusion介面均適用。
ACG LoRA的寫實風難題
用ACG圖片訓練出來的LoRA models，時有難以使用寫實風checkpoints models繪製出滿意成果的情況。
之前我會嘗試先用ACG風格的checkpoint運算text2Image，再使用寫實風的checkpoint運算image2image，不過結果往往不盡人意。
但ControlNet推出tile resample後，上述方式已成為能有效運用的方法了。
以下所有算圖成果的-Prompts均如下：
bad-hands-5, ng_deepnegative_v1_75t, (low quality, worst quality:1.4), (monochrome:1.1), (greyscale), watermark, text, blurry, jpeg artifacts, cropped, normal quality, signature, username, artist name, cartoon, canvas frame, lowres, (disfigured), (bad art), (deformed), (extra limbs), (b&w), weird colors, (duplicate), (morbid), (mutilated), mutated hands, (poorly drawn hands), (poorly drawn face), (mutation), (ugly), (bad proportions), cloned face, out of frame, gross proportions, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), fused fingers, (long neck), lowres, (grayscale), (skin spots), acnes, skin blemishes, (age spot),*bad-hands-5 Textual Inversion由此下載
*ng_deepnegative_v1_75 Textual Inversion由此下載
使用的checkpoint models有二：
寫實風：FantasticMix
ACG風：SweetMix
＊請注意！本篇心得無18禁內容，但連結連往的CIVITAI網頁會有。
使用的upscale演算法（放大演算法，會在HiresFix、Tiled Diffusion用到）：4x_NMKD-Superscale-SP_178000_G
下載該網頁的「4x_NMKD-Superscale-SP_178000_G.pth」檔案後，請放到models\ESRGAN資料夾內。
下載該網頁的「4x_NMKD-Superscale-SP_178000_G.pth」檔案後，請放到models\ESRGAN資料夾內。
約兒
說真的，約兒的LoRA能直接用在寫實風checkpoint model上，例如下圖：
+ultra realistic 8k cg, masterpiece, ((ultra detailed background, delicate pattern, intricate detail)), (highly detailed, fine details), best quality, 1girl, (photorealistic:1.4),beautiful lighting, absurdres, yor briar, 1girl, backlighting, bare shoulders, black background, black dress, black gloves, black hair, blood, blood on face, blood on weapon, breasts, closed mouth, cowboy shot, dress, earrings, expressionless, fingerless gloves, floating hair, floral print, flower, gloves, gold earrings, gold hairband, hair flower, hair ornament, hairband, holding, holding weapon, jewelry, large breasts, light particles, long hair, looking at viewer, off-shoulder dress, off shoulder, petals, red eyes, rose, rose petals, rose print, short hair with long locks, sidelocks, solo, spikes, thighs, two-sided dress, two-sided fabric, weapon, RAW photo, film grain, <lora:yor:1>,Steps:30Sampler: Euler aCFG scale: 7Seed: 2855893784Size: 512x768Model: fantasticmix_v40Denoising strength: 0.4Clip skip: 2Hires.fix upscale: 2Hires.fix upscaler: 4x_NMKD-Superscale-SP_178000_G
嗯，成果不錯，但接著來試試看完全一樣的設定，不過先使用SweetMix checkpoint model運算：
誠心地說，我更喜歡SweetMix算出來的神韻風采。那麼，下一步即是使用ControlNet的tile resample功能搭配FantasticMix來轉換為寫實風格了。依然是和上面完全一樣的設定，但搭配使用ControlNet的tile resample，成果如下：
我個人是更喜歡這個版本算出來的約兒（P.S. 因為與這次心得主題無關，手指問題我沒有花時間修復）。特別需要提出來的事項有三：
- 這完全是使用Text2Image的成果，沒有用到Image2Image（圖算圖）；
- tile resample的Down Sampling Rate我設為8；
- 因為是Text2Image，所以tile resample需要加入SweetMix算出來的ACG版本當作參考圖。
ACG checkpoint算出來的成果，角色的姿態往往更加多元動態，我覺得這可能是因為ACG角色往往有更誇張、更多元的動作，所以用ACG圖片訓練出來的checkpoint也就承襲了這樣的優點。
愛德（愛德華·愛力克）
《鋼鍊》的愛德就很難搞了，沒辦法像SpyXFamily的約兒能直接用Text2Image一次搞定。直接讓大家看看用愛德LoRA + FantasticMix算出來的成果便能知道原因：
+ultra realistic 8k cg, masterpiece, ultra detailed background, delicate pattern, intricate detail, highly detailed, fine details, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, backlighting, black background, ((black jacket)), ((white gloves)), yellow hair, grin, cowboy shot, ((red hoody)), ((red coat)), light particles, hair braid, looking at viewer, yellow eyes, solo, RAW photo, film grain, <lora:edwardElricFullmetal_v3:1>,Steps: 30Sampler: Euler aCFG scale: 5Seed: 3400642652Size: 512x768Model: fantasticmix_v40Denoising strength: 0.4Hires.Fix upscale: 2Hires.Fix upscaler: 4x_NMKD-Superscale-SP_178000_G
媽的、見鬼了，而且不知道為啥我覺得有點楊麗花（沒有不敬的意思），變成像是富有英氣的女角。我認為有這樣的結果，可能的原因有下列兩點：
- 熱衷於Stable Diffusion的男性阿宅數量遠遠超過女性阿宅，導致人物類checkpoint models的訓練非常偏重女性角色，尤其NSFW類的models更明顯。
- 愛德相較約兒更「卡通化」，也就是「更偏離現實的五官比例、形狀和臉型」，導致寫實風的checkpoint model「難以看懂」，無法妥當地轉換為寫實臉孔。
......總之先和約兒一樣如法炮製，保留所有設定但改用ACG風的SweetMix，不過這次我就先不用Hires.Fix了，因為根據經驗接下來轉寫實風的步驟失敗率會很高，不想先算大圖：
嘛、不意外地很不錯，接著嘗試用這張搭配tile resample，成果如下：
......是沒有那麼像歌仔戲的英俊小生了，但還是不太行，尤其眼睛實在太大。這時我就想了，乾脆來試試看ControlNet另一個新功能reference_only吧（仍保留相同設定，但seed改為隨機）：
.......反而變得更糟了。這時我想說有沒有可能是因為已經用ACG風的原圖當參考了，還多重複了一次相同的正面提示詞所導致，便乾脆把正面提示詞全空白再試一次：
........結果不只變得像ACG風（畢竟參考了原圖嘛）還性轉了（也似乎證實了我的「偏重女角」推測）。不得不說轉得還蠻可愛的，但這不是我想要的成果，所以我調整了正面提示詞再做嘗試：
+ultra realistic 8k cg, masterpiece, ultra detailed background, delicate pattern, intricate detail, highly detailed, fine details, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres,
+<lora:edwardElricFullmetal_v3:1>
事實證明reference_only不是解答，還是得回到Tile Reample上，於是我回到使用原本的ACG風原圖為Tile Resample的參考圖搭配FantasticMix，但持續調整正面提示詞和使用隨機seed，終於獲得一個還能接受的成果：
+ultra realistic 8k cg, masterpiece, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, <lora:edwardElricFullmetal_v3:1>, (cosplay), yellow eyes, red coat,
接著我將上圖傳到Image2Image放大，除了負面提示詞都有略作調整，最後成果如下：
+ultra realistic 8k cg, masterpiece, best quality, 1boy, (((flat chin))), (((wide chin))), (((manly face))), (((man's face))), (muscular face), (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, <lora:edwardElricFullmetal_v3:0.1>, (cosplay), yellow eyes, red coat, RAW photo, film grain, <lora:add_detail:-1>, thin lips,_bad-hands-5, ng_deepnegative_v1_75t, (low quality, worst quality:1.4), (monochrome:1.1), (greyscale), watermark, text, blurry, jpeg artifacts, cropped, normal quality, signature, username, artist name, cartoon, canvas frame, lowres, (disfigured), (bad art), (deformed), (extra limbs), (b&w), weird colors, (duplicate), (morbid), (mutilated), mutated hands, (poorly drawn hands), (poorly drawn face), (mutation), (ugly), (bad proportions), cloned face, out of frame, gross proportions, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), fused fingers, (long neck), lowres, (grayscale), (skin spots), acnes, skin blemishes, (age spot), (((beard))), (((moustache))),Steps: 30Sampler: DPM++ 2S a KarrasCFG scale: 6Seed: 2652740664Size: 1024x1536Model: fantasticmix_v40Denoising strength: 0.5Tiled Diffusion upscaler: 4x_NMKD-Superscale-SP_178000_GTiled Diffusion scale factor: 2Tiled Diffusion: "{'Method': 'Mixture of Diffusers', 'Tile tile width': 128, 'Tile tile height': 128, 'Tile Overlap': 24, 'Tile batch size': 1, 'Upscaler': '4x_NMKD-Superscale-SP_178000_G', 'Upscale factor': 2, 'Keep input size': True}"ControlNet: "preprocessor: tile_resample, model: control_v11f1e_sd15_tile [a371b31b], weight: 1, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: True, control mode: Balanced, preprocessor params: (64, 1, 64)"
因為FantasticMix會過度增加細節，所以這裡我使用了調整細節的LoRA嘗試減少細節量，效果很不錯，不過沒法改掉衣服不必要的波浪邊緣。
下載LoRA Detail Tweaker（細節調整）：https://civitai.com/models/58390/detail-tweaker-lora-lora
下載LoRA Detail Tweaker（細節調整）：https://civitai.com/models/58390/detail-tweaker-lora-lora
*此LoRA是少數可以使用負權重的LoRA，負＝減少細節，正＝增加細節，數值在-2~2之間，例如<lora:add_detail:-1>。
另外，實際上嘴唇的部分有手動後製過，由以下正面提示詞算出來的圖取代：
+ultra realistic 8k cg, masterpiece, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, <lora:edwardElricFullmetal_v3:1>, (cosplay), yellow eyes, red coat,
主要是愛德LoRA提示詞的權重：<lora:edwardElricFullmetal_v3:0.1>和<lora:edwardElricFullmetal_v3:1>的差別。
總結來說，比約兒要多花很多功夫，且成果可能還沒有約兒的滿意（依然有點像女性），好的方面則是成功使用了愛德的LoRA達成寫實風的成果。
——算是及格啦！
補充資料
ControlNet的Tile Resample、reference_only，以及MultiDiffusion的Tiled Diffusion、Tiled VAE，請參考我的以下三篇心得：
另外，若想使用Vlad Diffusion webui介面，可參考我的這篇心得：
祝算圖愉快！
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
最近在嘗試使用不同的AI生圖方式混合出圖的方式，採用A平台的優點，並用B平台後製的手法截長補短，創造出自己更想要的小說場景，效果不錯，現在以這張圖為例，來講一下我的製作步驟。
如何用AI生成美女，用提示詞生成美麗的美女！ 這裡嘗試了幾張，這裡挑選出覺得還不錯的。這張的重點是在水珠，美女在中間臉部沒有水珠，在肩部的水珠形成對比。
這張薄紗的感覺就差一些，姿勢擺得並不出色，可能擺字，造成兩者對稱，就沒有那麼漂亮了，顯得制式化。
我喜歡這張的美，自然又動人，沒有一點瑕疵，這
我天真的以為，LoRA 就是一種改變或賦予 "風格" 的模型工具，沒想到，她也可以有所 "功能性"，我真是大開眼界了。
在此介紹 Envy Zoom Slider XL 01 (TenSor.Art 上面的名字)
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
最近在嘗試使用不同的AI生圖方式混合出圖的方式，採用A平台的優點，並用B平台後製的手法截長補短，創造出自己更想要的小說場景，效果不錯，現在以這張圖為例，來講一下我的製作步驟。
如何用AI生成美女，用提示詞生成美麗的美女！ 這裡嘗試了幾張，這裡挑選出覺得還不錯的。這張的重點是在水珠，美女在中間臉部沒有水珠，在肩部的水珠形成對比。
這張薄紗的感覺就差一些，姿勢擺得並不出色，可能擺字，造成兩者對稱，就沒有那麼漂亮了，顯得制式化。
我喜歡這張的美，自然又動人，沒有一點瑕疵，這
我天真的以為，LoRA 就是一種改變或賦予 "風格" 的模型工具，沒想到，她也可以有所 "功能性"，我真是大開眼界了。
在此介紹 Envy Zoom Slider XL 01 (TenSor.Art 上面的名字)
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。