Stable Diffusion進階 -- 人偶生圖（二）

前言

步驟

手修正

對於需要修正的手指，可以用之前在 Stable Diffusion進階 -- Loopback手部修復 提到的手法來修復，但是在人偶生成法裡，有一個訣竅可以更簡便地做出修補，就是利用最初幾回合生成的圖片來修復。

由於這一系列的圖片都是由同一組姿勢控制設定所生成，照理來說所有的手部姿勢、光影與位置應該都是類似的，所以我們可以打開檔案夾，找出一個手部還沒崩壞的圖片，在繪圖軟體中開啟特意挑選的手部完好圖，以及之前產生的半成品圖，將完好的手部擷取下來，接肢到半成品圖上，再使用塗抹或其他工具將明顯有色差的部分塗抹銜接起來，就能得到一個肢體形狀正確但色澤不一樣的肢體修復圖：

此時如果有必要，可以使用下列的方法修正色差。但如果只是要提取邊線稿，這樣的修復就足夠了，因為邊線草稿不在乎色澤。

首先將圖輸入img2img，這樣才能讓整個人物的顏色同時均勻化，使用Denoising strength為0.3的低度權重，確保跑圖時不會讓手又變形了：

我曾經試著使用inpaint只針對手部來重繪，但效果非常不穩定，常常手臂的顏色與身體相差太多，所以用img2img來讓全身膚色一齊改變反而能得到較穩定的結果。

接著是ControlNet的設定。第一個ControlNet依然使用openpose的設定，與上一回人偶生圖時一樣不變，但是第二個ControlNet必須從depth或normal改換成canny，且使用已經修正好的半成品圖當作來源。而Control weight強化到1，這樣才能保證生圖時手部形狀不變，而只變膚色：

接著設定Loopback的連續輸入，在這邊Final denoising strength可以試試0.3到0.5的強度，讓全身變形的幅度限制在顏色與花紋等細節，而身體姿勢由於低權重與ControlNet鉗制的關係，可以維持相當的穩定度：

這樣開始跑圖，通常在前幾張就能得到很不錯的成果了：

草稿生圖

在修正好所有明顯問題之後，這就是一張可以拿來繼續生圖的草稿了。有好幾種方法可以繼續生成完成圖：

1. 如果這是某個大構圖的其中一個角色，就可以將該圖簡單去背之後組裝到其他圖上。
2. 如果這張圖本身就是完成圖，接下來可以去背將黑色的部分清除，再填上底色，然後使用一樣的ControlNet設定搭配高強度的Denosing strength跑圖，就能產生真正的背景畫面。
3. 如果這張圖我只需要線稿的部分，色澤不是我顧慮的地方，就可以將這張草稿圖當作是txt2img內ControlNet設定的canny以及depth的來源來產生大圖。

下面這張成果圖就是使用該草稿圖當作ControlNet的canny來源，跑txt2img輸出的成品：

臉修正

另一個問題是人物的臉。由於從人偶產生人物圖片時，頭型會受到原始人偶圖的頭型限制，所以臉型都很有可能怪怪的。這時候最好的做法就是將圖放大之後解除ControlNet的設定，只留下Openpose保留五官的位置不變，然後使用inpaint針對頭部重繪，這樣就可以得到不錯的頭臉與五官。

結論