Stable Diffusion進階 -- 拼貼換衣術

Stable Diffusion進階 -- 拼貼換衣術

更新於 發佈於 閱讀時間約 4 分鐘

前言

這篇要討論的主題與 Stable Diffusion進階 -- 穿衣換衣術 類似,但是要使用更穩定的方法把衣服變成自己想要的樣子。

在製作有一致性的圖畫,漫畫時,最大的問題有兩個,一個是人臉的一致性,這個可以用LoRA來實現,而另一個問題是衣服的一致性,目前這個問題沒有通用的解法。之前只能用提示詞來實現,但是提示詞出來的東西不一定是我們要的,這時候有一個方法可以強烈地要求AI依照我們的指示來繪畫衣物,雖然不能百分之百重製衣物的所有花紋,但是在許多場合上已經可以應付過去了,例如連環漫畫或者小說插畫。

問題

我們有一張圖,角色的裙子是白色的百摺裙:

華麗的哈娜

華麗的哈娜

但是我想讓她換上紅色的百摺裙:

紅色百褶裙

紅色百褶裙

方法

這時,我們要使用一種叫做photo bashing的手法來替換衣服。首先,開啟繪圖軟體例如Photoshop或GIMP,將紅色百褶裙疊在角色圖上,並且切掉多餘的部分,讓他大致貼合原本人物的身體曲線:

Photo bashing,將紅裙貼上原圖

Photo bashing,將紅裙貼上原圖

接著將這張合成圖傳入img2img或者Inpaint,以我為例,我將圖傳入Inpaint,並且將裙子選取起來。

在提示詞列,如果是img2img就要使用完整的提示詞,如果是Inpaint則只要專注於要重繪的衣服的提示詞就好,在我的範例是紅色短百摺裙(red short pleated skirt):

(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.3), extreme detailed, Hana, red short pleated skirt, fantasy <lora:Hana25:0.4>

並且使用Denosing strength 0.5的中等權重:

Inpaint設定

Inpaint設定

接下來,要開啟ControlNet,使用normal(法線貼圖),並且使用沒修改過的原始圖當作資料來源,這樣才能確認在重繪時衣物會貼近人物原本的衣著形狀:

使用沒修改過的圖當作法線貼圖來源

使用沒修改過的圖當作法線貼圖來源

最後,使用Loopback來不斷餵圖跑圖,讓AI不斷循環輸入,重繪同一個部分,使用0.75高權重的Final denoising strength讓AI可以有足夠的力道重繪圖片,同時間又使用ControlNet的normal來約束重繪物品的形狀:

Loopback設定

Loopback設定

這樣就可以開始跑圖了!在產生的數張成果圖中,我們可以任意挑選想要的結果:

Loopback輸出成果圖

Loopback輸出成果圖

可以看到,在頭兩步時,貼上去的衣服還不太能反映正常的衣物紋理與陰影,但是到了第三四張時,就已經有很穩定的成果衣物了!

這個方法適用於原圖與衣物的形態類似,但是顏色不同時。如果是與原本衣物相差較遠的衣物,例如窄裙換成百褶裙,那可以試試看將ControlNet normal的Control Weight調低,但是Loopback的回合數調多,挑選滿意的成果圖。

祝大家AI算圖愉快!

參照



avatar-img
子不語怪・力・亂・神
27.3K會員
430內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言
avatar-img
留言分享你的想法!
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,