Stable Diffusion進階 -- 拼貼換衣術

這篇要討論的主題與 Stable Diffusion進階 -- 穿衣換衣術 類似，但是要使用更穩定的方法把衣服變成自己想要的樣子。

在製作有一致性的圖畫，漫畫時，最大的問題有兩個，一個是人臉的一致性，這個可以用LoRA來實現，而另一個問題是衣服的一致性，目前這個問題沒有通用的解法。之前只能用提示詞來實現，但是提示詞出來的東西不一定是我們要的，這時候有一個方法可以強烈地要求AI依照我們的指示來繪畫衣物，雖然不能百分之百重製衣物的所有花紋，但是在許多場合上已經可以應付過去了，例如連環漫畫或者小說插畫。

我們有一張圖，角色的裙子是白色的百摺裙：

但是我想讓她換上紅色的百摺裙：

這時，我們要使用一種叫做photo bashing的手法來替換衣服。首先，開啟繪圖軟體例如Photoshop或GIMP，將紅色百褶裙疊在角色圖上，並且切掉多餘的部分，讓他大致貼合原本人物的身體曲線：

接著將這張合成圖傳入img2img或者Inpaint，以我為例，我將圖傳入Inpaint，並且將裙子選取起來。

在提示詞列，如果是img2img就要使用完整的提示詞，如果是Inpaint則只要專注於要重繪的衣服的提示詞就好，在我的範例是紅色短百摺裙（red short pleated skirt）：

並且使用Denosing strength 0.5的中等權重：

接下來，要開啟ControlNet，使用normal（法線貼圖），並且使用沒修改過的原始圖當作資料來源，這樣才能確認在重繪時衣物會貼近人物原本的衣著形狀：

最後，使用Loopback來不斷餵圖跑圖，讓AI不斷循環輸入，重繪同一個部分，使用0.75高權重的Final denoising strength讓AI可以有足夠的力道重繪圖片，同時間又使用ControlNet的normal來約束重繪物品的形狀：

這樣就可以開始跑圖了！在產生的數張成果圖中，我們可以任意挑選想要的結果：

可以看到，在頭兩步時，貼上去的衣服還不太能反映正常的衣物紋理與陰影，但是到了第三四張時，就已經有很穩定的成果衣物了！

這個方法適用於原圖與衣物的形態類似，但是顏色不同時。如果是與原本衣物相差較遠的衣物，例如窄裙換成百褶裙，那可以試試看將ControlNet normal的Control Weight調低，但是Loopback的回合數調多，挑選滿意的成果圖。

祝大家AI算圖愉快！