
繪圖AI雖然厲害但有很高的機率手指會亂畫,各種畸形、斷指、多指、缺指讓人頭痛不已。還好Stable Diffusion的社群發展良好,周邊的工具非常的齊全。這篇圖文教學會使用特殊的LoRA和局部重繪這兩種工具來穩定或修復手指問題。但原則上,以LoRA為主,局部重繪為輔,另外有一種工具叫ADetailer,也是可以修復手指問題,但實測失敗率頗高,而且需要複雜的參數調整跟有些運氣成分,這裡就不介紹了。
為什麼AI繪圖容易出現手指的錯誤?
這個問題其實很複雜,但大致上可以用下面兩個原因來回答這個問題:- AI缺乏概念理解的能力:AI 模型只會根據圖像的統計特徵來「拼湊」像手的畫面,本身並沒有「理解」手的結構或應有的手指數量,因此在生成時可能出現額外手指或手指變形等畸形結果。
- 訓練資料問題:手部姿勢多變且被部分遮擋或奇怪角度的照片很多,導致訓練模型的資料常出現不完整的手,模型也就學到錯誤或不完整的模式。另外指骨及關節極為複雜,圖像中的細節(例如指甲、手指長度)又佔畫面比例較小,在合成時容易被忽略或混亂。
TensorArt上的手部專用的LoRA有哪些?
首先補充一個關於LoRA的重要觀念:「LoRA跟基礎模型有相容性的問題、不同的基礎模型通常要使用不同的LoRA」。雖然現在很多LoRA作者都會出多模型兼容版本,但有一些沒有兼容,又套用到錯的基礎模型,那個LoRA就會失效。
以下分享兩個我自己常用的幾個手部繪製專用LoRA

-------------------------------
Hand Fixer | Concept/Tool LoRA XL
適用:Illustrious、Pony
套用的時候記得選到正確的(如附圖)
上面v1.0IL就是要套用在基底模型是Illustrious的時候。
下面的v1.0就是要套用在pony的時候。
他的LoRA效果觸發詞是「handfixer」
記得要加到你的提示詞裡面。
官方建議的強度參數是「0.5」
-------------------------------

Hand Stabilizer Illustrious XL
適用:Illustrious
這個是TensorArt官方自己做的LoRA,實測下來覺得效果很棒,特別是一些需要抓握的時候效果滿好的好,可惜目前只適用Illustrious。
以上是兩種泛用性比較高的手部專用模型。
其他還有各式各樣「特殊手勢」的專用LoRA就留給大家去探索了。
有那種比愛心的、牽手的、捏臉的各種奇怪的LoRA都有人做。
(還有那種比中指的、還有一些不好說,屬於NSFW類型的)
實際測試
測試對象用《數碼寶貝》(初代)的美美。
基礎模型:pony
角色LoRA:Mimi & Sora (Digimon Adventure)
提示詞為:
simple background, a fleeting smile, long, floating hair, Dutch angles, a fantastic effect of light filtering in, and lens flares,touching hair,masterpiece,blurry blackground,best quality,very aesthetic1girl, mimi, long hair, sidelocks, ponytail, brown eyes, red dress, capelet, brown gloves, belt, skirt, cowboy hat,score_9,score_8_up,score_7_up,source_anime,xmc,handfixer,perfect_hands,correct_anatomy
首先是沒有套用手指專用模型的版本:

接下是套用Hand Fixer的版本

是不是看起來好多了呢?
當然這裡要強調一點是:「就算套用了手指專用LoRA也不是100%成功」。
畢竟生成式AI本質上就是一種機率計算的模型。
但使用手指專用LoRA可以大幅的增加成功率。
我自己的體感大概是手指成功率(25%→65%)。
手指修復
上述套用LoRA穩定手指的方法,是一開始就要套用在繪圖的設定裡面。
但假如今天的情境是手指已經壞了。
但這張圖好美,想救回來呢?
那就是局部重繪的使用時機了。
雖然還是有可能重繪之後依然是錯的。
屬於一種死馬當活馬醫的工具。
一樣拿剛剛那張手壞掉的美美來修修看。
1.把滑鼠移到要修的圖的右上方選「局部重繪」

接著手動把要修改的地方用滑鼠塗黑(如下圖)
注意:如果有些背景可能會影響手部姿勢的也一起塗掉。

模型設定的地方如果你本來沒有用手部穩定LoRA的話記得加上去。
(還有提示詞:handfixer)
修復成功與否也一樣是機率問題。
一次修不好就多試幾次。
(小訣竅:上面附圖是偷懶一次修兩隻手,但其實一隻手修好再修另外一隻更快。雖然步驟比較多但是比較穩定。)
最後修復的結果如下圖:

這次手指數量跟結構就正確了。
以上是本篇全部的內容。
如果喜歡這類主題的話,可以看其他第1篇~第8篇(一覽)。
也歡迎在Fackbook上追蹤我的頁面。