AI繪圖從零開始:TensorArt (3) 手指穩定與修復

更新於 發佈於 閱讀時間約 5 分鐘
raw-image

繪圖AI雖然厲害但有很高的機率手指會亂畫,各種畸形、斷指、多指、缺指讓人頭痛不已。這篇圖文教學會使用特殊的LoRA局部重繪這兩種工具來穩定或修復手指問題。但原則上,以LoRA為主,局部重繪為輔,另外有一種工具叫ADetailer,也是可以修復手指問題,但實測失敗率頗高,而且需要複雜的參數調整跟有些運氣成分,這裡就不介紹了。

為什麼AI繪圖容易出現手指的錯誤?

這個問題其實很複雜,但大致上可以用下面兩個原因來回答這個問題:

  1. AI缺乏概念理解的能力:AI 模型只會根據圖像的統計特徵來「拼湊」像手的畫面,本身並沒有「理解」手的結構或應有的手指數量,因此在生成時可能出現額外手指或手指變形等畸形結果。
  2. 訓練資料問題:手部姿勢多變且被部分遮擋或奇怪角度的照片很多,導致訓練模型的資料常出現不完整的手,模型也就學到錯誤或不完整的模式。另外指骨及關節極為複雜,圖像中的細節(例如指甲、手指長度)又佔畫面比例較小,在合成時容易被忽略或混亂。

第一個原因基本上無解,沒什麼好討論的。第二個原因既然是出在訓練資料的話,那只要準備好「高品質的手部」的資料去訓練出專用的LoRA不就好了嗎?(LoRA是什麼可以參考前一篇教學。)


TensorArt上的手部專用的LoRA有哪些?

首先補充一個關於LoRA的重要觀念:「LoRA跟基礎模型有相容性的問題、不同的基礎模型通常要使用不同的LoRA」。雖然現在很多LoRA作者都會出多模型兼容版本,但有一些沒有兼容,又套用到錯的基礎模型,那個LoRA就會失效。

以下分享兩個我自己常用的幾個手部繪製專用LoRA

raw-image

-------------------------------

Hand Fixer | Concept/Tool LoRA XL

適用:Illustrious、Pony

套用的時候記得選到正確的(如附圖)

上面v1.0IL就是要套用在基底模型是Illustrious的時候。

下面的v1.0就是要套用在pony的時候。

他的LoRA效果觸發詞是「handfixer」

記得要加到你的提示詞裡面。

官方建議的強度參數是「0.5」
-------------------------------

raw-image

Hand Stabilizer Illustrious XL
適用:Illustrious

這個是TensorArt官方自己做的LoRA,實測下來覺得效果很棒,特別是一些需要抓握的時候效果滿好的好,可惜目前只適用Illustrious。

以上是兩種泛用性比較高的手部專用模型。

其他還有各式各樣「特殊手勢」的專用LoRA就留給大家去探索了。

有那種比愛心的、牽手的、捏臉的各種奇怪的LoRA都有人做。

(還有那種比中指的、還有一些不好說,屬於NSFW類型的)


實際測試

測試對象用《數碼寶貝》(初代)的美美。
基礎模型:pony
角色LoRA:Mimi & Sora (Digimon Adventure)
提示詞為:

simple background, a fleeting smile, long, floating hair,  Dutch angles, a fantastic effect of light filtering in, and lens flares,touching hair,masterpiece,blurry blackground,best quality,very aesthetic1girl, mimi, long hair, sidelocks, ponytail, brown eyes, red dress, capelet, brown gloves, belt, skirt, cowboy hat,score_9,score_8_up,score_7_up,source_anime,xmc,handfixer,perfect_hands,correct_anatomy

首先是沒有套用手指專用模型的版本:

raw-image


接下是套用Hand Fixer的版本

raw-image

是不是看起來好多了呢?
當然這裡要強調一點是:「就算套用了手指專用LoRA也不是100%成功」。
畢竟生成式AI本質上就是一種機率計算的模型。
但使用手指專用LoRA可以大幅的增加成功率。
我自己的體感大概是手指成功率(25%→65%)。

手指修復

上述套用LoRA穩定手指的方法,是一開始就要套用在繪圖的設定裡面。
但假如今天的情境是手指已經壞了。
但這張圖好美,想救回來呢?

那就是局部重繪的使用時機了。
雖然還是有可能重繪之後依然是錯的。
屬於一種死馬當活馬醫的工具。

一樣拿剛剛那張手壞掉的美美來修修看。
1.把滑鼠移到要修的圖的右上方選「局部重繪」

raw-image

接著手動把要修改的地方用滑鼠塗黑(如下圖)
注意:如果有些背景可能會影響手部姿勢的也一起塗掉。

raw-image

模型設定的地方如果你本來沒有用手部穩定LoRA的話記得加上去。
(還有提示詞:handfixer)

修復成功與否也一樣是機率問題。
一次修不好就多試幾次。
小訣竅:上面附圖是偷懶一次修兩隻手,但其實一隻手修好再修另外一隻更快。雖然步驟比較多但是比較穩定。)

最後修復的結果如下圖:

raw-image

這次手指數量跟結構就正確了。

以上文本篇完。

如果喜歡這類主題的話,歡迎加入「幻詠 Gen Ai Studio」沙龍。

定期分享生成式AI的應用和教學。

如果想要實際用TensorArt玩玩AI繪圖的人,歡迎使用我的推薦連結註冊

你跟我都可以得到一些免費的算力可以用在生成圖片上。

avatar-img
2會員
64內容數
探索ChatGPT等生成式AI 的各領域應用 1.分享 AI 工具的實測結果&提示詞技巧 2.分享 AI 創作內容
留言
avatar-img
留言分享你的想法!
幻詠 Gen Ai Studio 的其他內容
前一篇介紹了如何簡單的在TensorArt網站快速的生成動漫同人圖。 這篇要進一步的介紹使用LoRA調整畫風、服裝等等。 LoRA(Low-Rank Adaptation)是一種讓大模型「只需訓練少量參數」的技術。它在模型原始權重上加入兩個低階矩陣,以最小的改動達到微調效果。
Tensor.Art為繪圖模型雲端服務,能夠自訂採樣器、調度器和採樣次數等參數,自由度更高。本篇示範AnimagineXL模型,使用正反提示詞並調高採樣至25與60,生成遠坂凜的高精緻度動漫同人圖。
前一篇介紹了如何簡單的在TensorArt網站快速的生成動漫同人圖。 這篇要進一步的介紹使用LoRA調整畫風、服裝等等。 LoRA(Low-Rank Adaptation)是一種讓大模型「只需訓練少量參數」的技術。它在模型原始權重上加入兩個低階矩陣,以最小的改動達到微調效果。
Tensor.Art為繪圖模型雲端服務,能夠自訂採樣器、調度器和採樣次數等參數,自由度更高。本篇示範AnimagineXL模型,使用正反提示詞並調高採樣至25與60,生成遠坂凜的高精緻度動漫同人圖。
你可能也想看
Google News 追蹤
Thumbnail
這是什麼大問題嗎?這樣就寫一篇文章,會不會太混了! 會! 其實蠻混的! 哈哈哈! 1.英文不好,乾脆用中文。就用微軟 Copilot 設計工具 的網址在此。好啦!
Thumbnail
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要講的圖像提示詞概念是在AI繪圖的過程中輸入圖片,讓AI去理解圖像內容,或是直接參考圖像的構圖或色彩,再產生新的圖片。 雖然我最常用的是文字提示詞的方式生圖,但是圖像提示詞的應用比文字提示詞更廣也更加複雜,尤其在生成影片的範疇。 即使OpenAI在近日發表了強大的文生影片的Sora模型,但畢
Thumbnail
這篇文章精選了三款必備的AI繪圖工具,包括MidJourney、DALL·E和Stable Diffusion。這些工具提供了豐富的創作可能性,讓使用者能夠輕鬆地以AI技術創作各種繪畫作品。
Thumbnail
隨著AI技術的進步,AI繪圖工具也越來越普及,讓所有人都能輕鬆創作出精美圖像,以下推薦 8 個免費 AI 繪圖工具,讓你不用花錢,也能發揮創意。
Thumbnail
這一篇,是整理之前提到的,怎樣的程度,才是屬於「電腦繪圖」?
Thumbnail
結合不同AI軟體,無論「文本敘述生圖」、「以圖繪圖」、「AI局部改圖」,多多嘗試,才能得到更好的結果,玩得開心,結果自然愉快。 先用Canva「Text to image」勾勒出人體崩壞圖,它畫面構圖仍是好的,再用Unidream「文本描述生圖」上傳參考圖並輸入文字指示,立馬正常許多
Thumbnail
Tensor Art 使用 Stable Diffusion 的各種模型,也能使用ControlNet 和 LoRA功能,根據使用者的輸入來文生圖、圖生圖,生成各種風格的高質量圖像,包括人像、動人的風景、創意的抽象畫等。
Thumbnail
AI圖形工具 今天分享一些常用的AI圖形工具。現在的圖形工具非常多,不可能全部都熟悉,因為真的太多了。所以介紹幾個比較常用的工具來供參考。算是我工作室的員工。 取代部分繪圖的工作 AI圖形工具基本上可以取代一部分繪圖的工作。就像速寫一樣,本身長年在畫速寫,但再怎麼說速度也不會比AI生成圖片來得
Thumbnail
這是什麼大問題嗎?這樣就寫一篇文章,會不會太混了! 會! 其實蠻混的! 哈哈哈! 1.英文不好,乾脆用中文。就用微軟 Copilot 設計工具 的網址在此。好啦!
Thumbnail
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要講的圖像提示詞概念是在AI繪圖的過程中輸入圖片,讓AI去理解圖像內容,或是直接參考圖像的構圖或色彩,再產生新的圖片。 雖然我最常用的是文字提示詞的方式生圖,但是圖像提示詞的應用比文字提示詞更廣也更加複雜,尤其在生成影片的範疇。 即使OpenAI在近日發表了強大的文生影片的Sora模型,但畢
Thumbnail
這篇文章精選了三款必備的AI繪圖工具,包括MidJourney、DALL·E和Stable Diffusion。這些工具提供了豐富的創作可能性,讓使用者能夠輕鬆地以AI技術創作各種繪畫作品。
Thumbnail
隨著AI技術的進步,AI繪圖工具也越來越普及,讓所有人都能輕鬆創作出精美圖像,以下推薦 8 個免費 AI 繪圖工具,讓你不用花錢,也能發揮創意。
Thumbnail
這一篇,是整理之前提到的,怎樣的程度,才是屬於「電腦繪圖」?
Thumbnail
結合不同AI軟體,無論「文本敘述生圖」、「以圖繪圖」、「AI局部改圖」,多多嘗試,才能得到更好的結果,玩得開心,結果自然愉快。 先用Canva「Text to image」勾勒出人體崩壞圖,它畫面構圖仍是好的,再用Unidream「文本描述生圖」上傳參考圖並輸入文字指示,立馬正常許多
Thumbnail
Tensor Art 使用 Stable Diffusion 的各種模型,也能使用ControlNet 和 LoRA功能,根據使用者的輸入來文生圖、圖生圖,生成各種風格的高質量圖像,包括人像、動人的風景、創意的抽象畫等。
Thumbnail
AI圖形工具 今天分享一些常用的AI圖形工具。現在的圖形工具非常多,不可能全部都熟悉,因為真的太多了。所以介紹幾個比較常用的工具來供參考。算是我工作室的員工。 取代部分繪圖的工作 AI圖形工具基本上可以取代一部分繪圖的工作。就像速寫一樣,本身長年在畫速寫,但再怎麼說速度也不會比AI生成圖片來得