Stable Diffusion進階 -- 人偶生圖（一）
前言
本篇要介紹一個流程，讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度，並且經過一套流程之後，轉化成我們要的人物。
在使用Stable Diffusion生成圖片時，最常遇見的問題是人物的動作或位置不照我們的心意生成，尤其是一些高動態或不常見的姿勢與角度，或者手持物品，在某些模型上是永遠也跑不出來的。這時候我們可以借助ControlNet的openpose來生成，但是某些特別複雜或模型完全不熟悉的姿勢，使用openpose也只會產生肢體錯亂的結果，例如各種武術姿勢，或者兩人對戰肢體接觸，或者手持武器打鬥等。
而這次要介紹的方法，需要一個複雜的流程配合，但是它能將一個從人偶網站產生的人偶，利用ControlNet配合Loopback，將裸色人偶漸進轉換成實際的角色圖，對於指定特殊動作時，無論使用何種提示詞與ControlNet openpose都無效的情況，或許是最佳的解法：
這個步驟不只能轉換單人場景，多人場景也能轉換：
步驟
我以女角色跳舞的姿勢與構圖為起點，使用這樣的提示詞：
(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Cheefuyu with loose long hair and floating hair and dynamic hair, dancing, wearing dancing dress, short skirt, sweat, practicing, strong light, ballet shoes, dynamic pose, happy, fantasy, ballroom <lora:Cheefuyu:0.4>
當單純使用提示詞時，角色的動作高度不可控，而搭配上ControlNet openpose時，也常產生怪異的肢體搭配，或者多餘的肢體，例如這張：
因為Openpose只能表達平面的姿勢，但是沒辦法表達不同肢體的前後位置與空間分佈，加上高動態的提示詞本來就容易生出多餘肢體，因此這種方法非常考驗運氣。
下面，我們要使用能產生人偶圖與相對應的Openpose的網站，或者程式來生產素材，我主要使用免費的PoseMy.Art來製作：
在選定姿勢與切割框後，使用Export OpenPose with hands和Export Image，我們就得到了基本素材。
在Automatic1111內，將下載的圖片放入img2img內：
設定時Denoising strength調整到中權重的0.5，可以保證快速變形：
接著是ControlNet的設定，我們在此使用兩個ControlNet，兩個都要設定ControlNet is more important，讓ControlNet能強力控制整個生圖過程人物姿勢不走樣，第一個是使用由網站下載來的Openpose圖片，將preprocessor設定為none，這樣才能直接使用該姿勢圖：
另一個ControlNet可以使用depth（深度圖）或者normal（法線向量圖），我個人習慣使用depth。在這邊由於不想讓它太過牽制人偶的體型變形，因此Control Weight要設定成0.5的弱引導：
最後設定Loopback，我使用10回合，並設定Final denoising strength為0.75的高權重，讓它在循環輸入時變形幅度加大：
最後我們就可以開始跑圖了！
如果出現的圖片都沒有喜歡的，就可以考慮重跑幾次，直到選中喜歡的圖。
直到目前為止，我得到的半成品圖樣長這樣：
結論
這張半成品的手部手指是錯亂的，臉是模糊崩解的，背景也是黑暗的，要處理這些問題，我們要在下一篇繼續完善這件半成品，成為可以使用的草稿。
為什麼會看到廣告
8.1K會員
226內容數
留言0
查看全部
