ACG LoRA的寫實風運用 - Stable Diffusion

更新於 發佈於 閱讀時間約 21 分鐘

*本篇心得Automatic1111和Vlad Diffusion介面均適用。

ACG LoRA的寫實風難題

  用ACG圖片訓練出來的LoRA models,時有難以使用寫實風checkpoints models繪製出滿意成果的情況。

  之前我會嘗試先用ACG風格的checkpoint運算text2Image,再使用寫實風的checkpoint運算image2image,不過結果往往不盡人意。

  但ControlNet推出tile resample後,上述方式已成為能有效運用的方法了。

  以下所有算圖成果的-Prompts均如下:

bad-hands-5, ng_deepnegative_v1_75t, (low quality, worst quality:1.4), (monochrome:1.1), (greyscale), watermark, text, blurry, jpeg artifacts, cropped, normal quality, signature, username, artist name, cartoon, canvas frame, lowres, (disfigured), (bad art), (deformed), (extra limbs), (b&w), weird colors, (duplicate), (morbid), (mutilated), mutated hands, (poorly drawn hands), (poorly drawn face), (mutation), (ugly),  (bad proportions), cloned face, out of frame, gross proportions, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), fused fingers, (long neck), lowres, (grayscale), (skin spots), acnes, skin blemishes, (age spot),

*bad-hands-5 Textual Inversion由此下載
*ng_deepnegative_v1_75 Textual Inversion由此下載

  使用的checkpoint models有二:

寫實風:FantasticMix

ACG風:SweetMix

*請注意!本篇心得無18禁內容,但連結連往的CIVITAI網頁會有。

  使用的upscale演算法(放大演算法,會在HiresFix、Tiled Diffusion用到):4x_NMKD-Superscale-SP_178000_G
  下載該網頁的「4x_NMKD-Superscale-SP_178000_G.pth」檔案後,請放到models\ESRGAN資料夾內。

演算法的作者網頁:https://nmkd.de/?esrgan

約兒

LoRA:https://civitai.com/models/7256/yor-briar-spy-family-lora

  說真的,約兒的LoRA能直接用在寫實風checkpoint model上,例如下圖:

直接用FanstasticMix + Hires.fix的成果

直接用FanstasticMix + Hires.fix的成果

+
ultra realistic 8k cg, masterpiece, ((ultra detailed background, delicate pattern, intricate detail)), (highly detailed, fine details), best quality, 1girl, (photorealistic:1.4),beautiful lighting, absurdres, yor briar, 1girl, backlighting, bare shoulders, black background, black dress, black gloves, black hair, blood, blood on face, blood on weapon, breasts, closed mouth, cowboy shot, dress, earrings, expressionless, fingerless gloves, floating hair, floral print, flower, gloves, gold earrings, gold hairband, hair flower, hair ornament, hairband, holding, holding weapon, jewelry, large breasts, light particles, long hair, looking at viewer, off-shoulder dress, off shoulder, petals, red eyes, rose, rose petals, rose print, short hair with long locks, sidelocks, solo, spikes, thighs, two-sided dress, two-sided fabric, weapon, RAW photo, film grain, <lora:yor:1>,

Steps:30
Sampler: Euler a
CFG scale: 7
Seed: 2855893784
Size: 512x768
Model: fantasticmix_v40
Denoising strength: 0.4
Clip skip: 2
Hires.fix upscale: 2
Hires.fix upscaler: 4x_NMKD-Superscale-SP_178000_G

  嗯,成果不錯,但接著來試試看完全一樣的設定,不過先使用SweetMix checkpoint model運算:

直接用SweetMix + Hires.fix的成果

直接用SweetMix + Hires.fix的成果

  誠心地說,我更喜歡SweetMix算出來的神韻風采。那麼,下一步即是使用ControlNet的tile resample功能搭配FantasticMix來轉換為寫實風格了。依然是和上面完全一樣的設定,但搭配使用ControlNet的tile resample,成果如下:

把SweetMix算出來的圖當作tile resample的參考圖,使用FantasticMix算出來的成果

把SweetMix算出來的圖當作tile resample的參考圖,使用FantasticMix算出來的成果

  我個人是更喜歡這個版本算出來的約兒(P.S. 因為與這次心得主題無關,手指問題我沒有花時間修復)。特別需要提出來的事項有三:

  1. 這完全是使用Text2Image的成果,沒有用到Image2Image(圖算圖);
  2. tile resample的Down Sampling Rate我設為8;
  3. 因為是Text2Image,所以tile resample需要加入SweetMix算出來的ACG版本當作參考圖。

  ACG checkpoint算出來的成果,角色的姿態往往更加多元動態,我覺得這可能是因為ACG角色往往有更誇張、更多元的動作,所以用ACG圖片訓練出來的checkpoint也就承襲了這樣的優點。


愛德(愛德華·愛力克)

LoRA:https://civitai.com/models/24114?modelVersionId=28813

  《鋼鍊》的愛德就很難搞了,沒辦法像SpyXFamily的約兒能直接用Text2Image一次搞定。直接讓大家看看用愛德LoRA + FantasticMix算出來的成果便能知道原因:

直接用FanstasticMix + Hires.fix的成果

直接用FanstasticMix + Hires.fix的成果

+
ultra realistic 8k cg, masterpiece, ultra detailed background, delicate pattern, intricate detail, highly detailed, fine details, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, backlighting, black background, ((black jacket)), ((white gloves)), yellow hair, grin, cowboy shot, ((red hoody)), ((red coat)), light particles, hair braid, looking at viewer, yellow eyes, solo, RAW photo, film grain, <lora:edwardElricFullmetal_v3:1>,

Steps: 30
Sampler: Euler a
CFG scale: 5
Seed: 3400642652
Size: 512x768
Model: fantasticmix_v40
Denoising strength: 0.4
Hires.Fix upscale: 2
Hires.Fix upscaler: 4x_NMKD-Superscale-SP_178000_G

  媽的、見鬼了,而且不知道為啥我覺得有點楊麗花(沒有不敬的意思),變成像是富有英氣的女角。我認為有這樣的結果,可能的原因有下列兩點:

  1. 熱衷於Stable Diffusion的男性阿宅數量遠遠超過女性阿宅,導致人物類checkpoint models的訓練非常偏重女性角色,尤其NSFW類的models更明顯。
  2. 愛德相較約兒更「卡通化」,也就是「更偏離現實的五官比例、形狀和臉型」,導致寫實風的checkpoint model「難以看懂」,無法妥當地轉換為寫實臉孔。

  ......總之先和約兒一樣如法炮製,保留所有設定但改用ACG風的SweetMix,不過這次我就先不用Hires.Fix了,因為根據經驗接下來轉寫實風的步驟失敗率會很高,不想先算大圖:

直接用SweetMix的成果

直接用SweetMix的成果

  嘛、不意外地很不錯,接著嘗試用這張搭配tile resample,成果如下:

把SweetMix算出來的圖當作tile resample的參考圖,使用FantasticMix算出來的成果

把SweetMix算出來的圖當作tile resample的參考圖,使用FantasticMix算出來的成果

  ......是沒有那麼像歌仔戲的英俊小生了,但還是不太行,尤其眼睛實在太大。這時我就想了,乾脆來試試看ControlNet另一個新功能reference_only吧(仍保留相同設定,但seed改為隨機):

改用reference_only搭配FantasticMix的成果,seed 1661784639

改用reference_only搭配FantasticMix的成果,seed 1661784639

  .......反而變得更糟了。這時我想說有沒有可能是因為已經用ACG風的原圖當參考了,還多重複了一次相同的正面提示詞所導致,便乾脆把正面提示詞全空白再試一次:

改用reference_only、正面提示詞留白,搭配FantasticMix的成果

改用reference_only、正面提示詞留白,搭配FantasticMix的成果

  ........結果不只變得像ACG風(畢竟參考了原圖嘛)還性轉了(也似乎證實了我的「偏重女角」推測)。不得不說轉得還蠻可愛的,但這不是我想要的成果,所以我調整了正面提示詞再做嘗試:

是怎樣?正面提示詞中的「1boy」直接無視,硬要性轉就對了?雖然是真的很會畫女角啦......

是怎樣?正面提示詞中的「1boy」直接無視,硬要性轉就對了?雖然是真的很會畫女角啦......

+
ultra realistic 8k cg, masterpiece, ultra detailed background, delicate pattern, intricate detail, highly detailed, fine details, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres,
正面提示詞只加回愛德的LoRA指令......還是不行

正面提示詞只加回愛德的LoRA指令......還是不行

+
<lora:edwardElricFullmetal_v3:1>

  事實證明reference_only不是解答,還是得回到Tile Reample上,於是我回到使用原本的ACG風原圖為Tile Resample的參考圖搭配FantasticMix,但持續調整正面提示詞和使用隨機seed,終於獲得一個還能接受的成果:

左眼的顏色原本偏深灰,這是手動調整後的版本。

左眼的顏色原本偏深灰,這是手動調整後的版本。

+
ultra realistic 8k cg, masterpiece, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, <lora:edwardElricFullmetal_v3:1>, (cosplay), yellow eyes, red coat,

  接著我將上圖傳到Image2Image放大,除了負面提示詞都有略作調整,最後成果如下:

FantasticMix有點過度喜歡添加細節。

FantasticMix有點過度喜歡添加細節。

+
ultra realistic 8k cg, masterpiece, best quality, 1boy, (((flat chin))), (((wide chin))), (((manly face))), (((man's face))), (muscular face), (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, <lora:edwardElricFullmetal_v3:0.1>, (cosplay), yellow eyes, red coat, RAW photo, film grain, <lora:add_detail:-1>, thin lips,
_
bad-hands-5, ng_deepnegative_v1_75t, (low quality, worst quality:1.4), (monochrome:1.1), (greyscale), watermark, text, blurry, jpeg artifacts, cropped, normal quality, signature, username, artist name, cartoon, canvas frame, lowres, (disfigured), (bad art), (deformed), (extra limbs), (b&w), weird colors, (duplicate), (morbid), (mutilated), mutated hands, (poorly drawn hands), (poorly drawn face), (mutation), (ugly), (bad proportions), cloned face, out of frame, gross proportions, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), fused fingers, (long neck), lowres, (grayscale), (skin spots), acnes, skin blemishes, (age spot), (((beard))), (((moustache))),

Steps: 30
Sampler: DPM++ 2S a Karras
CFG scale: 6
Seed: 2652740664
Size: 1024x1536
Model: fantasticmix_v40
Denoising strength: 0.5
Tiled Diffusion upscaler: 4x_NMKD-Superscale-SP_178000_G
Tiled Diffusion scale factor: 2
Tiled Diffusion: "{'Method': 'Mixture of Diffusers', 'Tile tile width': 128, 'Tile tile height': 128, 'Tile Overlap': 24, 'Tile batch size': 1, 'Upscaler': '4x_NMKD-Superscale-SP_178000_G', 'Upscale factor': 2, 'Keep input size': True}"
ControlNet: "preprocessor: tile_resample, model: control_v11f1e_sd15_tile [a371b31b], weight: 1, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: True, control mode: Balanced, preprocessor params: (64, 1, 64)"

  因為FantasticMix會過度增加細節,所以這裡我使用了調整細節的LoRA嘗試減少細節量,效果很不錯,不過沒法改掉衣服不必要的波浪邊緣。
下載LoRA Detail Tweaker(細節調整):https://civitai.com/models/58390/detail-tweaker-lora-lora

*此LoRA是少數可以使用負權重的LoRA,負=減少細節,正=增加細節,數值在-2~2之間,例如<lora:add_detail:-1>。

  另外,實際上嘴唇的部分有手動後製過,由以下正面提示詞算出來的圖取代:

+
ultra realistic 8k cg, masterpiece, best quality, 1boy, flat chin, manly, (photorealistic:1.4), beautiful lighting, absurdres, Edward Elric, <lora:edwardElricFullmetal_v3:1>, (cosplay), yellow eyes, red coat,

  主要是愛德LoRA提示詞的權重:<lora:edwardElricFullmetal_v3:0.1>和<lora:edwardElricFullmetal_v3:1>的差別。

  總結來說,比約兒要多花很多功夫,且成果可能還沒有約兒的滿意(依然有點像女性),好的方面則是成功使用了愛德的LoRA達成寫實風的成果。

  ——算是及格啦!


補充資料

ControlNet的Tile Resample、reference_only,以及MultiDiffusion的Tiled Diffusion、Tiled VAE,請參考我的以下三篇心得:

忠實放大、增添細節 ControlNet 1.1 - Tile Resample - Stable Diffusion

Reference_only - 輕鬆以圖發想 - Stable Diffusion

放大/多道提示詞的好幫手:MultiDiffusion插件 - Stable Diffusion

另外,若想使用Vlad Diffusion webui介面,可參考我的這篇心得:

進化的Automatic1111:Vlad Diffusion - Stable Diffusion


祝算圖愉快!

留言
avatar-img
留言分享你的想法!
黑米BR-avatar-img
發文者
2023/05/27
2B - AI二創提及了這篇文章,趕快過去看看吧!
黑米BR-avatar-img
發文者
2023/05/29
黑暗精靈 - Stable Diffusion大圖/雜談提及了這篇文章,趕快過去看看吧!
avatar-img
︾黑米BR的沙龍︽
82會員
105內容數
筆者探索各種感興趣事物的紀錄。 *副帳非主流政治沙龍《黑米BR不政確》:https://vocus.cc/user/@BRriceP
2023/11/01
筆者最近開啟連載的小說《M.O.N》是以AI、仿生人、安寧療護為主軸的科幻短篇。書封,按照慣例,是自製;也按照慣例,使用了Stable Diffusion (SD)。
Thumbnail
2023/11/01
筆者最近開啟連載的小說《M.O.N》是以AI、仿生人、安寧療護為主軸的科幻短篇。書封,按照慣例,是自製;也按照慣例,使用了Stable Diffusion (SD)。
Thumbnail
2023/10/04
實際上,筆者的Stable Diffusion (Vlad)依舊有些問題,仍不曉得原因是顯卡、Win11、SSD、Vlad或其他,但會先從更新顯卡驅動和重裝Vlad開始找錯。 現況是Vlad運算了二三張圖後就會因為GPU記憶體不夠的問題開始極度緩慢,因此打擊了我創圖的意願。 另一方面,也是對創作
Thumbnail
2023/10/04
實際上,筆者的Stable Diffusion (Vlad)依舊有些問題,仍不曉得原因是顯卡、Win11、SSD、Vlad或其他,但會先從更新顯卡驅動和重裝Vlad開始找錯。 現況是Vlad運算了二三張圖後就會因為GPU記憶體不夠的問題開始極度緩慢,因此打擊了我創圖的意願。 另一方面,也是對創作
Thumbnail
2023/09/20
想著有一陣子沒碰SD,就生成了一張繪圖來致敬。
Thumbnail
2023/09/20
想著有一陣子沒碰SD,就生成了一張繪圖來致敬。
Thumbnail
看更多
你可能也想看
Thumbnail
大家好,我是一名眼科醫師,也是一位孩子的媽 身為眼科醫師的我,我知道視力發展對孩子來說有多關鍵。 每到開學季時,診間便充斥著許多憂心忡忡的家屬。近年來看診中,兒童提早近視、眼睛疲勞的案例明顯增加,除了3C使用過度,最常被忽略的,就是照明品質。 然而作為一位媽媽,孩子能在安全、舒適的環境
Thumbnail
大家好,我是一名眼科醫師,也是一位孩子的媽 身為眼科醫師的我,我知道視力發展對孩子來說有多關鍵。 每到開學季時,診間便充斥著許多憂心忡忡的家屬。近年來看診中,兒童提早近視、眼睛疲勞的案例明顯增加,除了3C使用過度,最常被忽略的,就是照明品質。 然而作為一位媽媽,孩子能在安全、舒適的環境
Thumbnail
我的「媽」呀! 母親節即將到來,vocus 邀請你寫下屬於你的「媽」故事——不管是紀錄爆笑的日常,或是一直想對她表達的感謝,又或者,是你這輩子最想聽她說出的一句話。 也歡迎你曬出合照,分享照片背後的點點滴滴 ♥️ 透過創作,將這份情感表達出來吧!🥹
Thumbnail
我的「媽」呀! 母親節即將到來,vocus 邀請你寫下屬於你的「媽」故事——不管是紀錄爆笑的日常,或是一直想對她表達的感謝,又或者,是你這輩子最想聽她說出的一句話。 也歡迎你曬出合照,分享照片背後的點點滴滴 ♥️ 透過創作,將這份情感表達出來吧!🥹
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
  用ACG圖片訓練出來的LoRA models,時有難以使用寫實風checkpoints models繪製出滿意成果的情況。
Thumbnail
  用ACG圖片訓練出來的LoRA models,時有難以使用寫實風checkpoints models繪製出滿意成果的情況。
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
ControlNet發布了1.1新版本,新增了許多不同的model,本文介紹運算大圖時非常好用的Tile Resample model。
Thumbnail
ControlNet發布了1.1新版本,新增了許多不同的model,本文介紹運算大圖時非常好用的Tile Resample model。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
Thumbnail
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
Thumbnail
本文教導你如何準備LoRA訓練的素材與選擇合適的提示詞。
Thumbnail
本文教導你如何準備LoRA訓練的素材與選擇合適的提示詞。
Thumbnail
之前用20種採樣方式,隨機生成四張圖,好像沒什麼可比性,每一組的生成結果都差不多是有好有壞。如果畫四張不同的圖比不出好壞,那全部畫同一張圖的話呢?這次的測試就是針對這個疑問而進行的。
Thumbnail
之前用20種採樣方式,隨機生成四張圖,好像沒什麼可比性,每一組的生成結果都差不多是有好有壞。如果畫四張不同的圖比不出好壞,那全部畫同一張圖的話呢?這次的測試就是針對這個疑問而進行的。
Thumbnail
今天來説説常用的兩個提示詞訣竅: 如何使用Automatic1111抓出提示詞 如何把圖片的提示詞匯入img2img
Thumbnail
今天來説説常用的兩個提示詞訣竅: 如何使用Automatic1111抓出提示詞 如何把圖片的提示詞匯入img2img
Thumbnail
這邊繼續上一集的內容,進入這一章節時,你應該是已經安裝好stable diffusion webui跟Kohya's GUI了。 這一章就真的要開始準備訓練Lora模型了,步驟有點雜,我拆成四個小步驟來看,這一章節也是最重要的,以後忘了步驟時,也只要回頭來看這一篇就行了。
Thumbnail
這邊繼續上一集的內容,進入這一章節時,你應該是已經安裝好stable diffusion webui跟Kohya's GUI了。 這一章就真的要開始準備訓練Lora模型了,步驟有點雜,我拆成四個小步驟來看,這一章節也是最重要的,以後忘了步驟時,也只要回頭來看這一篇就行了。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News