因為最近在玩這篇 ACG LoRA的寫實風運用 - Stable Diffusion 心得中的內容,所以繼約兒後也嘗試了2B的LoRA:

這個2B LoRA模型的作者可能訓練時提示詞沒設定好,面罩常常畫錯,例如只遮住一隻眼睛或眼睛透出面罩。另一方面,寫實風的FantasticMix checkpoint模型在畫面罩時必定會在眼睛位置上「開洞」,所以上圖的面罩是手動後製的成果。





有一點很有趣的是:2B的眼睛是藍色的,但使用ACG風的SweetMix checkpoint模型時不需要在正面提示詞中特別加入「blue eyes」也能畫出藍眼睛,然而使用寫實風的FantasticMix時不加入「blue eyes」提示詞的話必定會出現黑色瞳孔,但加入「blue eyes」提示詞時眼睛除了變藍以外也幾乎一定會變大。我在猜,或許是因為藍眼睛以白人較為常見,而白人的眼睛又往往比較大的緣故吧?

另外,為了嘗試改變臉型,我有試著加入「white girl」提示詞,也確實會有差異,但會出現不想要的「下巴有中線」的情況,於是我又嘗試加入「Doremi of Spiral Cats」、「Enako」、「Nekomu」等coser的名字,可不太確定有沒有效果。

最後這張之所以明顯和其他的不同,是因為這張為了套用照片的姿勢而額外使用了ControlNet的Depth功能,所以影響了tile resample的效果,而這也是ControlNet目前的極限,在使用複數ControlNet效果的時候很難預測和拿捏最終的結果。
另外,於流程中使用複數check point模型時,在放大圖片階段也會遇到難題,好比如果第一個小圖階段使用SweetMix,接著第一、第二、第三次放大都使用FantasticMix,那麼圖片的結果就會越來越偏FantasticMix的風格,雖然可以調低Denoising Strength來降低這個問題,但會影響到放大圖片的細緻度。我有試過在階段放大時交替使用checkpoint模型,可往往會整個「亂掉」,變成不管哪個模型都看不太懂需要放大的圖片而導致畫歪的比例更高。
希望Stable Diffusion未來的更新能改善上述方面。
祝大家看圖愉快!