Stable Diffusion練習，歡迎來到我的家鄉

更新於 2023/05/29發佈於 2023/05/04閱讀時間約 7 分鐘

歡迎來到我的家鄉！

這次來用一些好用的手法，達到在Stable Diffusion裡面畫出誇張姿勢的方法。

Stable Diffusion的真人模型與擬真模型可以做到幾可亂真的效果，~~只要不觀察手指腳趾的話~~。但是在這些模型裡面，人物的動態是不活潑的，由於訓練用的素材圖大部分都是靜態姿勢與場景，很難用提示詞在這些模型裡面做出什麼很精彩的動作。

為了生成有趣或誇張的擬真圖片，有好幾種方法可以做到，這次我要用的是其中一種我覺得稍嫌麻煩，但是手指姿態不容易跑掉的方法。那就是借圖生圖。

這次的主題是「歡迎！」

歡迎來到我的家鄉！ -- Stable Diffusion繪製

使用的角色是自製角色Hana的LoRA：

Hana in the GhostMix

首先，用Google Image搜尋自己腦海中想像的人物姿勢，或者乾脆用紙筆或手繪版製作一張草圖。

我在這邊直接使用了初音未來的圖片，因為初音的動作非常活潑，很容易抓到有趣的構圖：

起始圖

這次選擇這張圖的原因是，人物的表情是我要的喜悅的表情，手掌伸向攝影者且以漫畫手法放大，帶來動感，這是擬真以及真人模型很難做到的。至少我試過跑一百張擬真（俗稱2.5D）圖片，沒有一張能用。

好的，接下來就是要改到連他媽媽都不認識的地步。

首先，在txt2img裡面，選擇動漫類模型AnythingV5，將圖放到ControlNet底下，開啟Canny，設定權重為0.6，並且在正面提示詞裡輸入跟伸手有關的提示詞，使用0.5作為LoRA的權重，然後一口氣產生十幾張圖：

(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, landscape ,
digital painting of Hana with [white:red:0.6] kimono, gray cloak, happy, laughing, dynamic pose, dynamic angle, floating hair, outstretched hand, outstretched arm, reaching out to viewer, half body portrait,
real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, beautiful eyes, detailed eyes, perfect body, perfect face
<lora:Hana:0.5>

萬用Canny

在產生出來的圖片中選擇最接近自己想像的圖，繼續第二步優化：

離實際的目標還很遠！

由於有Canny的牽制，所以大部分的圖都不會長得像我們要的角色，但也同時很好地保存了手指的形狀與大小，我們可以利用這點繼續優化。

在第二步，將圖傳入img2img，使用擬真模組，我使用的是RealDosMix。一樣在ControlNet裡面使用Canny，權重依舊保持0.6，提示詞保持不變，LoRA權重依舊保持在0.5，然後用denoising strength在0.2跑一兩次，將動漫感的手指轉換成有真實感的手指，同時將人物的臉與衣服慢慢轉成擬真風格。

第三步，這次我們要用inpaint功能，將手的部分圈選起來，然後在選項中選擇inpaint not masked，denoising strength設定0.75，這樣重繪時，就會保留手部完全維持原樣，其他部分則依照Canny的線稿來大改：

把手圈選起來，重繪其他部分。

一次跑個十幾張，選出自己最喜歡的一張。在我的例子中，我將我覺得最好的一張用修圖軟體裁切掉最左邊多餘的畸形右手與太長的頭髮，然後再用inpaint加上擴大的尺寸，以及Resize and fill的選項，在圖的左右填出空白，然後繼續inpaint這些空白的左右邊界，這樣就能慢慢把背景的山與海填出來。

當整張圖大致完成後，再輸出到img2img，用Denoising strength在0.2微調整張圖，讓陰影與整體背景更一致。最後再將圖放到Extra中放大兩倍，輸出成圖。

這個方法的步驟可以歸結為：

從搜尋引擎找圖，或者手繪草稿。
使用動漫類模型，配合ControlNet的低權重Canny，中等權重的角色LoRA，跑圖多張選一。
使用擬真或真人型模型，在img2img中使用ControlNet的低權重Canny，中等權重的角色LoRA，低Denoising Strength，將人物的卡通特徵抹除。
使用inpaint遮住手腳等不想讓AI亂改的地方，然後命令AI大改沒有遮住的部分，讓人物進一步更像真人。
繼續使用img2img以及inpaint修改不滿意的地方。直到完成後再用AI放大功能輸出大圖。

這種借圖生圖的方法，相比於動漫生圖法，更容易直接從自己心裡想要的姿勢與動態開始。相比於OpenPose生圖法，更容易操縱難以駕馭的手指與手心手背問題。適合在腦海已經有具體草圖時使用。

如果你具有基本的寫生素描能力，直接素描出大概圖，可能比從Google Images找圖更快更有掌握。

祝大家AI算圖愉快！

進階技巧目錄：