Stable Diffusion進階 -- Loopback手部修復

更新 發佈閱讀 4 分鐘

前言

本篇要解說一個用ControlNet加上Loopback來達到修正壞掉的手部姿勢的方法。這個方法與之前寫過的 Stable Diffusion進階 -- 手部修復 最大的不同點是,要求更高一些的繪圖軟體技巧,以及使用ControlNet來監控修復的完成度。

由於AI算圖的隨機性,在訓練時比較少見的手部姿勢與角度,常常讓AI算出奇怪的扭曲的或多餘的手指,例如下面這個範例圖:

raw-image

在範例圖中,右手是常見的姿勢,所以AI可以很輕鬆地算出來,但是左手是一個 ControlNet線稿轉換成圖的時候不常見的姿勢,AI無法正確推論這個手部姿勢的立體空間方位與手指前後順序,就變成了一個怪怪的樣子。

方法

為了修正這個壞掉的手勢,我們除了用之前敘述的漸進Inpaint之外,還有一個方法可以較快速修正。

首先,一樣要到提供手部姿勢的人偶網站,例如PoseMy.Art這個網站,將人偶的手部調整到想要的角度與姿勢,然後將它輸出成圖片:

raw-image

將它導入一個支援圖層的繪圖軟體,例如GIMP、Photoshop或Photopea,然後匯入有問題的圖片,新增圖層,把好的手臂放到新圖層上,移動到預定的位置,然後將有問題的手塗抹掉,再將好的手大致補上相似的膚色與陰影,這邊會考驗到我們的繪圖能力,但不用繪製到十分細緻,只要能大致表明正確的前後關係就好:

raw-image

接著,將這張修正過的圖導入Inpaint,使用簡單的提示詞來表明我們要修正的是手,並圈選要修正的部位:

(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, hand

然後使用非常低的Denoising strength權重,例如0.2來開始,並且使用Only masked讓AI專注在手部區域:

raw-image

接著使用ControlNet的openpose_hand,輸入修正過的圖,並且偵測他是否有認得修正過的圖的手部姿勢:

raw-image

這一步非常重要,如果openpose_hand無法認出手指的大致位置,代表修圖是失敗的,需要重新修圖直到openponse_hand能正確標定手指位置

當ControlNet設定完成時,打開Loopback的設定,將回合數規定到10以上的數字,Final denoising strength設定到依然是低權重的0.25左右,確保整個十回合的週期都是低強度的重繪:

raw-image

當一切都設定完成之後,就能開始算圖了:

raw-image

由於算圖的變化細微,所以能防止AI偏轉太大讓手又變形了。在算出來的圖之中,出現正確的手部姿勢機會應該很大,同時間算圖的速度又快(因為Denoising strength權重越低,算圖的速度越快)。

在這裡,我挑選了一張修復結果還算滿意的圖來當成果圖:

raw-image

希望大家AI算圖愉快!


留言
avatar-img
子不語怪・力・亂・神
36.4K會員
450內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
在 vocus 與你一起探索內容、發掘靈感的路上,我們又將啟動新的冒險——vocus App 正式推出! 現在起,你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔,或一天結束後的放鬆時刻,都能自在沈浸在內容宇宙中。
Thumbnail
在 vocus 與你一起探索內容、發掘靈感的路上,我們又將啟動新的冒險——vocus App 正式推出! 現在起,你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔,或一天結束後的放鬆時刻,都能自在沈浸在內容宇宙中。
Thumbnail
vocus 慶祝推出 App,舉辦 2026 全站慶。推出精選內容與數位商品折扣,訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包,以及全站徵文,並邀請你一起來回顧過去的一年, vocus 與創作者共同留下了哪些精彩創作。
Thumbnail
vocus 慶祝推出 App,舉辦 2026 全站慶。推出精選內容與數位商品折扣,訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包,以及全站徵文,並邀請你一起來回顧過去的一年, vocus 與創作者共同留下了哪些精彩創作。
Thumbnail
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
本篇要解說一個用ControlNet加上Loopback來達到修正壞掉的手部姿勢的方法。這個方法與之前寫過的 Stable Diffusion進階 -- 手部修復 最大的不同點是,要求更高一些的繪圖軟體技巧,以及使用ControlNet來監控修復的完成度。
Thumbnail
本篇要解說一個用ControlNet加上Loopback來達到修正壞掉的手部姿勢的方法。這個方法與之前寫過的 Stable Diffusion進階 -- 手部修復 最大的不同點是,要求更高一些的繪圖軟體技巧,以及使用ControlNet來監控修復的完成度。
Thumbnail
這篇討論一個常見的問題:如何修復修補錯亂的手部姿勢。
Thumbnail
這篇討論一個常見的問題:如何修復修補錯亂的手部姿勢。
Thumbnail
下面是Stable Diffusion常用提示詞中的負面提示詞,用於Automatic1111的Negative Prompt。 要注意的是,不是每個提示詞都要加。
Thumbnail
下面是Stable Diffusion常用提示詞中的負面提示詞,用於Automatic1111的Negative Prompt。 要注意的是,不是每個提示詞都要加。
Thumbnail
無論是軟體操作或是手工加工,面對具備複雜起伏與連續弧面的造型時,所需要的並不是無止盡試誤的耐心─而是細膩的觀察與統整。 從如何拆解塊面到規劃相關製作流程;自量測撇步到轉換紙板樣品的技巧,最完整的解面思路與連續保險的維持可修正的GK複製件手法,用於穩定機身不對稱的修正用造型裙甲、現在抵達!
Thumbnail
無論是軟體操作或是手工加工,面對具備複雜起伏與連續弧面的造型時,所需要的並不是無止盡試誤的耐心─而是細膩的觀察與統整。 從如何拆解塊面到規劃相關製作流程;自量測撇步到轉換紙板樣品的技巧,最完整的解面思路與連續保險的維持可修正的GK複製件手法,用於穩定機身不對稱的修正用造型裙甲、現在抵達!
Thumbnail
造型、繼續前進! 繼承了前章大腿殼系列的基本技巧,將操作聯合更上層樓!如何從設計圖中取樣相似構造統合、活用補土與膠板適合的減法製作優勢,聚合箱型、進氣葉與漸變自由弧度坡等多重造型,全於本回完成!
Thumbnail
造型、繼續前進! 繼承了前章大腿殼系列的基本技巧,將操作聯合更上層樓!如何從設計圖中取樣相似構造統合、活用補土與膠板適合的減法製作優勢,聚合箱型、進氣葉與漸變自由弧度坡等多重造型,全於本回完成!
Thumbnail
承接前回、大腿裝甲的製作進入集成與精修的篇章! 面對複雜的精修需求,該如何活用假組冶具提供的快拆便利性、分析造型關連並一一攻克製作的難關?完整解構概念造型付諸實踐,多段連續的【腿部製作篇】:大腿製作系列、迎來堂堂完結!
Thumbnail
承接前回、大腿裝甲的製作進入集成與精修的篇章! 面對複雜的精修需求,該如何活用假組冶具提供的快拆便利性、分析造型關連並一一攻克製作的難關?完整解構概念造型付諸實踐,多段連續的【腿部製作篇】:大腿製作系列、迎來堂堂完結!
Thumbnail
在打好了上身與下腰的段落後,製作的進度、邁入連結上下段落的中段! 從事前評估、雛型搭建、零件干涉切除、密合度微調到假組,啟用段接蒙皮法構成的中腰篇,將帶來製作者亟需、充滿叮嚀的細緻連貫大全! 還在猶豫是否要訂閱嗎?掌握那些確實會影響成果的製作細節,從即刻訂閱開始!
Thumbnail
在打好了上身與下腰的段落後,製作的進度、邁入連結上下段落的中段! 從事前評估、雛型搭建、零件干涉切除、密合度微調到假組,啟用段接蒙皮法構成的中腰篇,將帶來製作者亟需、充滿叮嚀的細緻連貫大全! 還在猶豫是否要訂閱嗎?掌握那些確實會影響成果的製作細節,從即刻訂閱開始!
Thumbnail
造型、更上一層!在本回的製作教學中,相互干涉而嵌合緊密的胸部組件群,進入了外觀修整的階段。 如何在全平面的膠板搭建物上創造出小弧度的曲面又不增加實體體積? 如果成品要翻模需要避免那些NG結構、搭建的變更點在哪裡? 該如何使用單片膠板創造出薄巧的層疊擺葉構造? 更多詳盡內容,盡在本回推送!
Thumbnail
造型、更上一層!在本回的製作教學中,相互干涉而嵌合緊密的胸部組件群,進入了外觀修整的階段。 如何在全平面的膠板搭建物上創造出小弧度的曲面又不增加實體體積? 如果成品要翻模需要避免那些NG結構、搭建的變更點在哪裡? 該如何使用單片膠板創造出薄巧的層疊擺葉構造? 更多詳盡內容,盡在本回推送!
Thumbnail
為了將兩個進氣道與胸箱三個獨立的零件統合成一體的造型,在本次的製作教學中,大頭老師將示範如何利用自製輔具協助假組,並在合併前進行主輪廓的修整。 完全無欠的鏡射手作功夫與規劃法則,盡在本回之中! (本回開始為直接付費專欄,愈閱讀詳細內容,請參考訂閱資訊)
Thumbnail
為了將兩個進氣道與胸箱三個獨立的零件統合成一體的造型,在本次的製作教學中,大頭老師將示範如何利用自製輔具協助假組,並在合併前進行主輪廓的修整。 完全無欠的鏡射手作功夫與規劃法則,盡在本回之中! (本回開始為直接付費專欄,愈閱讀詳細內容,請參考訂閱資訊)
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News