2B - AI二創

2023/05/27閱讀時間約 2 分鐘
  因為最近在玩這篇 ACG LoRA的寫實風運用 - Stable Diffusion 心得中的內容,所以繼約兒後也嘗試了2B的LoRA:
  這個2B LoRA模型的作者可能訓練時提示詞沒設定好,面罩常常畫錯,例如只遮住一隻眼睛或眼睛透出面罩。另一方面,寫實風的FantasticMix checkpoint模型在畫面罩時必定會在眼睛位置上「開洞」,所以上圖的面罩是手動後製的成果。
  另一方面,如果我推測的沒錯,這個2B LoRA模型有使用3D模型和cosplay照片訓練,所以手指的部分比之前約兒的LoRA要好非常多,不過這是比較兩者後的差異,實際上出錯率仍然很高,這是目前Stable Diffusion普遍的問題。
  有一點很有趣的是:2B的眼睛是藍色的,但使用ACG風的SweetMix checkpoint模型時不需要在正面提示詞中特別加入「blue eyes」也能畫出藍眼睛,然而使用寫實風的FantasticMix時不加入「blue eyes」提示詞的話必定會出現黑色瞳孔,但加入「blue eyes」提示詞時眼睛除了變藍以外也幾乎一定會變大。我在猜,或許是因為藍眼睛以白人較為常見,而白人的眼睛又往往比較大的緣故吧?
老是一號微笑表情有點膩,所以這張試著用了生氣相關的提示詞。
  另外,為了嘗試改變臉型,我有試著加入「white girl」提示詞,也確實會有差異,但會出現不想要的「下巴有中線」的情況,於是我又嘗試加入「Doremi of Spiral Cats」、「Enako」、「Nekomu」等coser的名字,可不太確定有沒有效果。
  最後這張之所以明顯和其他的不同,是因為這張為了套用照片的姿勢而額外使用了ControlNetDepth功能,所以影響了tile resample的效果,而這也是ControlNet目前的極限,在使用複數ControlNet效果的時候很難預測和拿捏最終的結果。
  另外,於流程中使用複數check point模型時,在放大圖片階段也會遇到難題,好比如果第一個小圖階段使用SweetMix,接著第一、第二、第三次放大都使用FantasticMix,那麼圖片的結果就會越來越偏FantasticMix的風格,雖然可以調低Denoising Strength來降低這個問題,但會影響到放大圖片的細緻度。我有試過在階段放大時交替使用checkpoint模型,可往往會整個「亂掉」,變成不管哪個模型都看不太懂需要放大的圖片而導致畫歪的比例更高
  希望Stable Diffusion未來的更新能改善上述方面。
祝大家看圖愉快!
為什麼會看到廣告
78會員
104內容數
筆者探索AI工具時遇到的難題、解方和雜談,不定期更新。
留言0
查看全部
發表第一個留言支持創作者!