Stable Diffusion進階 -- Loopback手部修復

更新於 發佈於 閱讀時間約 4 分鐘

前言

本篇要解說一個用ControlNet加上Loopback來達到修正壞掉的手部姿勢的方法。這個方法與之前寫過的 Stable Diffusion進階 -- 手部修復 最大的不同點是,要求更高一些的繪圖軟體技巧,以及使用ControlNet來監控修復的完成度。

由於AI算圖的隨機性,在訓練時比較少見的手部姿勢與角度,常常讓AI算出奇怪的扭曲的或多餘的手指,例如下面這個範例圖:

左手壞掉的範例圖

左手壞掉的範例圖

在範例圖中,右手是常見的姿勢,所以AI可以很輕鬆地算出來,但是左手是一個 ControlNet線稿轉換成圖的時候不常見的姿勢,AI無法正確推論這個手部姿勢的立體空間方位與手指前後順序,就變成了一個怪怪的樣子。

方法

為了修正這個壞掉的手勢,我們除了用之前敘述的漸進Inpaint之外,還有一個方法可以較快速修正。

首先,一樣要到提供手部姿勢的人偶網站,例如PoseMy.Art這個網站,將人偶的手部調整到想要的角度與姿勢,然後將它輸出成圖片:

輸出成圖片的手部姿勢

輸出成圖片的手部姿勢

將它導入一個支援圖層的繪圖軟體,例如GIMP、Photoshop或Photopea,然後匯入有問題的圖片,新增圖層,把好的手臂放到新圖層上,移動到預定的位置,然後將有問題的手塗抹掉,再將好的手大致補上相似的膚色與陰影,這邊會考驗到我們的繪圖能力,但不用繪製到十分細緻,只要能大致表明正確的前後關係就好:

經過大致修改的手

經過大致修改的手

接著,將這張修正過的圖導入Inpaint,使用簡單的提示詞來表明我們要修正的是手,並圈選要修正的部位:

(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, hand

然後使用非常低的Denoising strength權重,例如0.2來開始,並且使用Only masked讓AI專注在手部區域:

以0.2的低權重開始重繪

以0.2的低權重開始重繪

接著使用ControlNet的openpose_hand,輸入修正過的圖,並且偵測他是否有認得修正過的圖的手部姿勢:

ControlNet的openpose_hand設定

ControlNet的openpose_hand設定

這一步非常重要,如果openpose_hand無法認出手指的大致位置,代表修圖是失敗的,需要重新修圖直到openponse_hand能正確標定手指位置

當ControlNet設定完成時,打開Loopback的設定,將回合數規定到10以上的數字,Final denoising strength設定到依然是低權重的0.25左右,確保整個十回合的週期都是低強度的重繪:

Loopback的設定

Loopback的設定

當一切都設定完成之後,就能開始算圖了:

算圖過程

算圖過程

由於算圖的變化細微,所以能防止AI偏轉太大讓手又變形了。在算出來的圖之中,出現正確的手部姿勢機會應該很大,同時間算圖的速度又快(因為Denoising strength權重越低,算圖的速度越快)。

在這裡,我挑選了一張修復結果還算滿意的圖來當成果圖:

成果圖

成果圖

希望大家AI算圖愉快!


留言
avatar-img
留言分享你的想法!
Ellie Jack-avatar-img
2023/07/13
感謝你的細心分享!!🥰🥰🥰
子不語-avatar-img
發文者
2023/10/05
Stable Diffusion進階 -- OpenPose手部修復提及了這篇文章,趕快過去看看吧!
子不語-avatar-img
發文者
2023/07/17
Stable Diffusion進階 -- 人偶生圖(二)提及了這篇文章,趕快過去看看吧!
avatar-img
子不語怪・力・亂・神
29.5K會員
431內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
本篇要解說一個用ControlNet加上Loopback來達到修正壞掉的手部姿勢的方法。這個方法與之前寫過的 Stable Diffusion進階 -- 手部修復 最大的不同點是,要求更高一些的繪圖軟體技巧,以及使用ControlNet來監控修復的完成度。
Thumbnail
本篇要解說一個用ControlNet加上Loopback來達到修正壞掉的手部姿勢的方法。這個方法與之前寫過的 Stable Diffusion進階 -- 手部修復 最大的不同點是,要求更高一些的繪圖軟體技巧,以及使用ControlNet來監控修復的完成度。
Thumbnail
這篇討論一個常見的問題:如何修復修補錯亂的手部姿勢。
Thumbnail
這篇討論一個常見的問題:如何修復修補錯亂的手部姿勢。
Thumbnail
下面是Stable Diffusion常用提示詞中的負面提示詞,用於Automatic1111的Negative Prompt。 要注意的是,不是每個提示詞都要加。
Thumbnail
下面是Stable Diffusion常用提示詞中的負面提示詞,用於Automatic1111的Negative Prompt。 要注意的是,不是每個提示詞都要加。
Thumbnail
無論是軟體操作或是手工加工,面對具備複雜起伏與連續弧面的造型時,所需要的並不是無止盡試誤的耐心─而是細膩的觀察與統整。 從如何拆解塊面到規劃相關製作流程;自量測撇步到轉換紙板樣品的技巧,最完整的解面思路與連續保險的維持可修正的GK複製件手法,用於穩定機身不對稱的修正用造型裙甲、現在抵達!
Thumbnail
無論是軟體操作或是手工加工,面對具備複雜起伏與連續弧面的造型時,所需要的並不是無止盡試誤的耐心─而是細膩的觀察與統整。 從如何拆解塊面到規劃相關製作流程;自量測撇步到轉換紙板樣品的技巧,最完整的解面思路與連續保險的維持可修正的GK複製件手法,用於穩定機身不對稱的修正用造型裙甲、現在抵達!
Thumbnail
造型、繼續前進! 繼承了前章大腿殼系列的基本技巧,將操作聯合更上層樓!如何從設計圖中取樣相似構造統合、活用補土與膠板適合的減法製作優勢,聚合箱型、進氣葉與漸變自由弧度坡等多重造型,全於本回完成!
Thumbnail
造型、繼續前進! 繼承了前章大腿殼系列的基本技巧,將操作聯合更上層樓!如何從設計圖中取樣相似構造統合、活用補土與膠板適合的減法製作優勢,聚合箱型、進氣葉與漸變自由弧度坡等多重造型,全於本回完成!
Thumbnail
承接前回、大腿裝甲的製作進入集成與精修的篇章! 面對複雜的精修需求,該如何活用假組冶具提供的快拆便利性、分析造型關連並一一攻克製作的難關?完整解構概念造型付諸實踐,多段連續的【腿部製作篇】:大腿製作系列、迎來堂堂完結!
Thumbnail
承接前回、大腿裝甲的製作進入集成與精修的篇章! 面對複雜的精修需求,該如何活用假組冶具提供的快拆便利性、分析造型關連並一一攻克製作的難關?完整解構概念造型付諸實踐,多段連續的【腿部製作篇】:大腿製作系列、迎來堂堂完結!
Thumbnail
在打好了上身與下腰的段落後,製作的進度、邁入連結上下段落的中段! 從事前評估、雛型搭建、零件干涉切除、密合度微調到假組,啟用段接蒙皮法構成的中腰篇,將帶來製作者亟需、充滿叮嚀的細緻連貫大全! 還在猶豫是否要訂閱嗎?掌握那些確實會影響成果的製作細節,從即刻訂閱開始!
Thumbnail
在打好了上身與下腰的段落後,製作的進度、邁入連結上下段落的中段! 從事前評估、雛型搭建、零件干涉切除、密合度微調到假組,啟用段接蒙皮法構成的中腰篇,將帶來製作者亟需、充滿叮嚀的細緻連貫大全! 還在猶豫是否要訂閱嗎?掌握那些確實會影響成果的製作細節,從即刻訂閱開始!
Thumbnail
造型、更上一層!在本回的製作教學中,相互干涉而嵌合緊密的胸部組件群,進入了外觀修整的階段。 如何在全平面的膠板搭建物上創造出小弧度的曲面又不增加實體體積? 如果成品要翻模需要避免那些NG結構、搭建的變更點在哪裡? 該如何使用單片膠板創造出薄巧的層疊擺葉構造? 更多詳盡內容,盡在本回推送!
Thumbnail
造型、更上一層!在本回的製作教學中,相互干涉而嵌合緊密的胸部組件群,進入了外觀修整的階段。 如何在全平面的膠板搭建物上創造出小弧度的曲面又不增加實體體積? 如果成品要翻模需要避免那些NG結構、搭建的變更點在哪裡? 該如何使用單片膠板創造出薄巧的層疊擺葉構造? 更多詳盡內容,盡在本回推送!
Thumbnail
為了將兩個進氣道與胸箱三個獨立的零件統合成一體的造型,在本次的製作教學中,大頭老師將示範如何利用自製輔具協助假組,並在合併前進行主輪廓的修整。 完全無欠的鏡射手作功夫與規劃法則,盡在本回之中! (本回開始為直接付費專欄,愈閱讀詳細內容,請參考訂閱資訊)
Thumbnail
為了將兩個進氣道與胸箱三個獨立的零件統合成一體的造型,在本次的製作教學中,大頭老師將示範如何利用自製輔具協助假組,並在合併前進行主輪廓的修整。 完全無欠的鏡射手作功夫與規劃法則,盡在本回之中! (本回開始為直接付費專欄,愈閱讀詳細內容,請參考訂閱資訊)
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News