vocus logo

方格子 vocus

Stable Diffusion進階 -- 人偶生圖(一)

更新 發佈閱讀 5 分鐘
vocus|新世代的創作平台

前言

本篇要介紹一個流程,讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度,並且經過一套流程之後,轉化成我們要的人物。

在使用Stable Diffusion生成圖片時,最常遇見的問題是人物的動作或位置不照我們的心意生成,尤其是一些高動態或不常見的姿勢與角度,或者手持物品,在某些模型上是永遠也跑不出來的。這時候我們可以借助ControlNet的openpose來生成,但是某些特別複雜或模型完全不熟悉的姿勢,使用openpose也只會產生肢體錯亂的結果,例如各種武術姿勢,或者兩人對戰肢體接觸,或者手持武器打鬥等。

而這次要介紹的方法,需要一個複雜的流程配合,但是它能將一個從人偶網站產生的人偶,利用ControlNet配合Loopback,將裸色人偶漸進轉換成實際的角色圖,對於指定特殊動作時,無論使用何種提示詞與ControlNet openpose都無效的情況,或許是最佳的解法:

vocus|新世代的創作平台

這個步驟不只能轉換單人場景,多人場景也能轉換:

vocus|新世代的創作平台

步驟

我以女角色跳舞的姿勢與構圖為起點,使用這樣的提示詞:

(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Cheefuyu with loose long hair and floating hair and dynamic hair, dancing, wearing dancing dress, short skirt, sweat, practicing, strong light, ballet shoes, dynamic pose, happy, fantasy, ballroom <lora:Cheefuyu:0.4>

當單純使用提示詞時,角色的動作高度不可控,而搭配上ControlNet openpose時,也常產生怪異的肢體搭配,或者多餘的肢體,例如這張:

vocus|新世代的創作平台

因為Openpose只能表達平面的姿勢,但是沒辦法表達不同肢體的前後位置與空間分佈,加上高動態的提示詞本來就容易生出多餘肢體,因此這種方法非常考驗運氣。

下面,我們要使用能產生人偶圖與相對應的Openpose的網站,或者程式來生產素材,我主要使用免費的PoseMy.Art來製作:

vocus|新世代的創作平台

在選定姿勢與切割框後,使用Export OpenPose with hands和Export Image,我們就得到了基本素材。

在Automatic1111內,將下載的圖片放入img2img內:

vocus|新世代的創作平台

設定時Denoising strength調整到中權重的0.5,可以保證快速變形:

vocus|新世代的創作平台

接著是ControlNet的設定,我們在此使用兩個ControlNet,兩個都要設定ControlNet is more important,讓ControlNet能強力控制整個生圖過程人物姿勢不走樣,第一個是使用由網站下載來的Openpose圖片,將preprocessor設定為none,這樣才能直接使用該姿勢圖:

vocus|新世代的創作平台

另一個ControlNet可以使用depth(深度圖)或者normal(法線向量圖),我個人習慣使用depth。在這邊由於不想讓它太過牽制人偶的體型變形,因此Control Weight要設定成0.5的弱引導:

vocus|新世代的創作平台

最後設定Loopback,我使用10回合,並設定Final denoising strength為0.75的高權重,讓它在循環輸入時變形幅度加大:

vocus|新世代的創作平台

最後我們就可以開始跑圖了!

vocus|新世代的創作平台

如果出現的圖片都沒有喜歡的,就可以考慮重跑幾次,直到選中喜歡的圖。

直到目前為止,我得到的半成品圖樣長這樣:

vocus|新世代的創作平台


結論

這張半成品的手部手指是錯亂的,臉是模糊崩解的,背景也是黑暗的,要處理這些問題,我們要在下一篇繼續完善這件半成品,成為可以使用的草稿。

留言
avatar-img
子不語怪・力・亂・神
37.9K會員
455內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
佛拉民歌舞蹈女郎 迪斯可舞蹈女郎 肚皮舞蹈女郎,很難生成。老是被拒絕。 阿拉伯舞女郎 南美森巴女郎,被拒絕許多次。 拉丁舞女郎,喜歡這張,很有韻味。 中國舞女郎,典型的。 寶萊烏女郎 街舞女郎
Thumbnail
佛拉民歌舞蹈女郎 迪斯可舞蹈女郎 肚皮舞蹈女郎,很難生成。老是被拒絕。 阿拉伯舞女郎 南美森巴女郎,被拒絕許多次。 拉丁舞女郎,喜歡這張,很有韻味。 中國舞女郎,典型的。 寶萊烏女郎 街舞女郎
Thumbnail
前言 本篇要介紹一個流程,讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度,並且經過一套流程之後,轉化成我們要的人物。 在使用Stable Diffusion生成圖片時,最常遇見的問題是人物的動作或位置不照我們的心意生成,尤其是一些高動態或不常見的姿勢與角度,或者手持物品,在某些模型上是
Thumbnail
前言 本篇要介紹一個流程,讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度,並且經過一套流程之後,轉化成我們要的人物。 在使用Stable Diffusion生成圖片時,最常遇見的問題是人物的動作或位置不照我們的心意生成,尤其是一些高動態或不常見的姿勢與角度,或者手持物品,在某些模型上是
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
當我靠近、盯著伴時,我聯想到看過的舞蹈片段:舞者模仿動物、模仿海流樹木、模仿大自然、模仿情緒、演出情緒、表達情緒。我覺得我像雙人舞中的一半,透過身體傳達情緒給玩伴,讓她接續著表演,如此輪替、交織,形成一個整體。
Thumbnail
當我靠近、盯著伴時,我聯想到看過的舞蹈片段:舞者模仿動物、模仿海流樹木、模仿大自然、模仿情緒、演出情緒、表達情緒。我覺得我像雙人舞中的一半,透過身體傳達情緒給玩伴,讓她接續著表演,如此輪替、交織,形成一個整體。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News