Stable Diffusion進階 -- 人偶生圖(一)

更新於 發佈於 閱讀時間約 5 分鐘
Dance!

Dance!

前言

本篇要介紹一個流程,讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度,並且經過一套流程之後,轉化成我們要的人物。

在使用Stable Diffusion生成圖片時,最常遇見的問題是人物的動作或位置不照我們的心意生成,尤其是一些高動態或不常見的姿勢與角度,或者手持物品,在某些模型上是永遠也跑不出來的。這時候我們可以借助ControlNet的openpose來生成,但是某些特別複雜或模型完全不熟悉的姿勢,使用openpose也只會產生肢體錯亂的結果,例如各種武術姿勢,或者兩人對戰肢體接觸,或者手持武器打鬥等。

而這次要介紹的方法,需要一個複雜的流程配合,但是它能將一個從人偶網站產生的人偶,利用ControlNet配合Loopback,將裸色人偶漸進轉換成實際的角色圖,對於指定特殊動作時,無論使用何種提示詞與ControlNet openpose都無效的情況,或許是最佳的解法:

英雄落地姿的人偶轉換

英雄落地姿的人偶轉換

這個步驟不只能轉換單人場景,多人場景也能轉換:

雙人場景的人偶轉換

雙人場景的人偶轉換

步驟

我以女角色跳舞的姿勢與構圖為起點,使用這樣的提示詞:

(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Cheefuyu with loose long hair and floating hair and dynamic hair, dancing, wearing dancing dress, short skirt, sweat, practicing, strong light, ballet shoes, dynamic pose, happy, fantasy, ballroom <lora:Cheefuyu:0.4>

當單純使用提示詞時,角色的動作高度不可控,而搭配上ControlNet openpose時,也常產生怪異的肢體搭配,或者多餘的肢體,例如這張:

肢體方向錯誤,胸背方向錯誤加上多餘肢體

肢體方向錯誤,胸背方向錯誤加上多餘肢體

因為Openpose只能表達平面的姿勢,但是沒辦法表達不同肢體的前後位置與空間分佈,加上高動態的提示詞本來就容易生出多餘肢體,因此這種方法非常考驗運氣。

下面,我們要使用能產生人偶圖與相對應的Openpose的網站,或者程式來生產素材,我主要使用免費的PoseMy.Art來製作:

PoseMy.Art

PoseMy.Art

在選定姿勢與切割框後,使用Export OpenPose with hands和Export Image,我們就得到了基本素材。

在Automatic1111內,將下載的圖片放入img2img內:

img2img內放入素材圖

img2img內放入素材圖

設定時Denoising strength調整到中權重的0.5,可以保證快速變形:

Denoising strength設定為0.5

Denoising strength設定為0.5

接著是ControlNet的設定,我們在此使用兩個ControlNet,兩個都要設定ControlNet is more important,讓ControlNet能強力控制整個生圖過程人物姿勢不走樣,第一個是使用由網站下載來的Openpose圖片,將preprocessor設定為none,這樣才能直接使用該姿勢圖:

preprocessor設定為none

preprocessor設定為none

另一個ControlNet可以使用depth(深度圖)或者normal(法線向量圖),我個人習慣使用depth。在這邊由於不想讓它太過牽制人偶的體型變形,因此Control Weight要設定成0.5的弱引導:

Control Weight要設定成0.5以下

Control Weight要設定成0.5以下

最後設定Loopback,我使用10回合,並設定Final denoising strength為0.75的高權重,讓它在循環輸入時變形幅度加大:

Loopback設定

Loopback設定

最後我們就可以開始跑圖了!

漸變流程

漸變流程

如果出現的圖片都沒有喜歡的,就可以考慮重跑幾次,直到選中喜歡的圖。

直到目前為止,我得到的半成品圖樣長這樣:

半成品圖

半成品圖


結論

這張半成品的手部手指是錯亂的,臉是模糊崩解的,背景也是黑暗的,要處理這些問題,我們要在下一篇繼續完善這件半成品,成為可以使用的草稿。

留言
avatar-img
留言分享你的想法!
龍阿迪-avatar-img
2023/07/17
乾貨,紮紮實實不帶水分!
Lanma Chiu-avatar-img
2023/07/17
剛依照文章介紹方法做,但第一次直接用文生圖+Controlnet,隨意生成挑到一張喜歡的之後,再送到圖生圖+Controlnet+Loopback好像更不錯!
子不語-avatar-img
發文者
2023/07/17
Lanma Chiu 是的,很多情況其實用不著人偶生圖。我會用人偶生圖的時機都是一般方法沒效時的最後手段。
Beta-avatar-img
2023/07/17
這調校所需的功夫,真的是一門學問了或許,這是繪師們,短期不會大量失業的一道防線
子不語-avatar-img
發文者
2023/07/17
Beta 讓圖中人物擺出業主想要的姿勢其實一點都不簡單。
子不語-avatar-img
發文者
2023/07/18
Stable Diffusion練習,哈娜與修的談判提及了這篇文章,趕快過去看看吧!
子不語-avatar-img
發文者
2024/01/28
Stable Diffusion練習,星空之下提及了這篇文章,趕快過去看看吧!
avatar-img
子不語怪・力・亂・神
29.3K會員
430內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
TOMICA第一波推出吉伊卡哇聯名小車車的時候馬上就被搶購一空,一直很扼腕當時沒有趕緊入手。前陣子閒來無事逛蝦皮,突然發現幾家商場都又開始重新上架,價格也都回到正常水準,估計是官方又再補了一批貨,想都沒想就立刻下單! 同文也跟大家分享近期蝦皮購物紀錄、好用推薦、蝦皮分潤計畫的聯盟行銷!
Thumbnail
TOMICA第一波推出吉伊卡哇聯名小車車的時候馬上就被搶購一空,一直很扼腕當時沒有趕緊入手。前陣子閒來無事逛蝦皮,突然發現幾家商場都又開始重新上架,價格也都回到正常水準,估計是官方又再補了一批貨,想都沒想就立刻下單! 同文也跟大家分享近期蝦皮購物紀錄、好用推薦、蝦皮分潤計畫的聯盟行銷!
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
謝謝攝影師的照片 一開始以為社交舞應該不會太難,但實際體驗發現,自己跳舞跟別人合作跳舞,真的很不一樣。 我覺得自己跳比較簡單哈哈,舞步不難但我眼花撩亂,瘋狂轉錯邊有趣的體驗課! 生活中不斷嘗新學習,不設限領域方向,會發現每個人都有各自驚奇的興趣和擅長的拿手事物,希望接下來的研究所生活,也能
Thumbnail
謝謝攝影師的照片 一開始以為社交舞應該不會太難,但實際體驗發現,自己跳舞跟別人合作跳舞,真的很不一樣。 我覺得自己跳比較簡單哈哈,舞步不難但我眼花撩亂,瘋狂轉錯邊有趣的體驗課! 生活中不斷嘗新學習,不設限領域方向,會發現每個人都有各自驚奇的興趣和擅長的拿手事物,希望接下來的研究所生活,也能
Thumbnail
即興表演強調「夥伴」的重要性,參與者能夠迅速建立連結,共同創建一個「能量場」,感受到集體的力量。這種連結不僅限於舞台上,還能延伸到日常生活中,讓參與者在不同身份中相遇,並成為很好的朋友。激發演員的創造力和想像力,還能促進團隊合作,讓故事自然流暢地發展。
Thumbnail
即興表演強調「夥伴」的重要性,參與者能夠迅速建立連結,共同創建一個「能量場」,感受到集體的力量。這種連結不僅限於舞台上,還能延伸到日常生活中,讓參與者在不同身份中相遇,並成為很好的朋友。激發演員的創造力和想像力,還能促進團隊合作,讓故事自然流暢地發展。
Thumbnail
佛拉民歌舞蹈女郎 迪斯可舞蹈女郎 肚皮舞蹈女郎,很難生成。老是被拒絕。 阿拉伯舞女郎 南美森巴女郎,被拒絕許多次。 拉丁舞女郎,喜歡這張,很有韻味。 中國舞女郎,典型的。 寶萊烏女郎 街舞女郎
Thumbnail
佛拉民歌舞蹈女郎 迪斯可舞蹈女郎 肚皮舞蹈女郎,很難生成。老是被拒絕。 阿拉伯舞女郎 南美森巴女郎,被拒絕許多次。 拉丁舞女郎,喜歡這張,很有韻味。 中國舞女郎,典型的。 寶萊烏女郎 街舞女郎
Thumbnail
當我靠近、盯著伴時,我聯想到看過的舞蹈片段:舞者模仿動物、模仿海流樹木、模仿大自然、模仿情緒、演出情緒、表達情緒。我覺得我像雙人舞中的一半,透過身體傳達情緒給玩伴,讓她接續著表演,如此輪替、交織,形成一個整體。
Thumbnail
當我靠近、盯著伴時,我聯想到看過的舞蹈片段:舞者模仿動物、模仿海流樹木、模仿大自然、模仿情緒、演出情緒、表達情緒。我覺得我像雙人舞中的一半,透過身體傳達情緒給玩伴,讓她接續著表演,如此輪替、交織,形成一個整體。
Thumbnail
前言 本篇要介紹一個流程,讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度,並且經過一套流程之後,轉化成我們要的人物。 在使用Stable Diffusion生成圖片時,最常遇見的問題是人物的動作或位置不照我們的心意生成,尤其是一些高動態或不常見的姿勢與角度,或者手持物品,在某些模型上是
Thumbnail
前言 本篇要介紹一個流程,讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度,並且經過一套流程之後,轉化成我們要的人物。 在使用Stable Diffusion生成圖片時,最常遇見的問題是人物的動作或位置不照我們的心意生成,尤其是一些高動態或不常見的姿勢與角度,或者手持物品,在某些模型上是
Thumbnail
CG人物也會跳肚皮舞? 看看她如何跳! 〈3d構圖渲染〉CG人物在空靈城前跳起了肚皮舞了… 以上內容如果喜歡的話,也可以點擊收看完整 短片動畫喔~ 好了以上就是今天分享的內容,作品全部屬於自己繪制後再制作成動畫的 ,純屬不易 ,請多多點贊支持喔,如果喜歡我的作品,請記得追蹤我~~
Thumbnail
CG人物也會跳肚皮舞? 看看她如何跳! 〈3d構圖渲染〉CG人物在空靈城前跳起了肚皮舞了… 以上內容如果喜歡的話,也可以點擊收看完整 短片動畫喔~ 好了以上就是今天分享的內容,作品全部屬於自己繪制後再制作成動畫的 ,純屬不易 ,請多多點贊支持喔,如果喜歡我的作品,請記得追蹤我~~
Thumbnail
角色的動作還可以是跳躍的方式,類似球拋物線彈跳的方式來表現角色活潑的跳躍動作,讓角色由場景左上角跳躍至場中央,再跳躍至場景右上角,最後再跳躍回原處,由於動作特別,因此每個身上元件都需要仔細的調整。 目標動畫效果:應用影片片段元件表現可愛的角色跳躍動作,除了元件的準備與安排
Thumbnail
角色的動作還可以是跳躍的方式,類似球拋物線彈跳的方式來表現角色活潑的跳躍動作,讓角色由場景左上角跳躍至場中央,再跳躍至場景右上角,最後再跳躍回原處,由於動作特別,因此每個身上元件都需要仔細的調整。 目標動畫效果:應用影片片段元件表現可愛的角色跳躍動作,除了元件的準備與安排
Thumbnail
對於動物跑步較複雜之處是在四隻腳的動作表現上,包括跑步時的腳彎曲,是不易以補間動畫表現的,因此需藉由預先準備的彎曲腳元件來替換,由於是不同的元件替換,因此僅能以逐格動畫來表現。 目標動畫效果:應用影片片段元件表現可愛動物四隻腳的簡易跑步,除了元件的準備與安排表現動作之外,
Thumbnail
對於動物跑步較複雜之處是在四隻腳的動作表現上,包括跑步時的腳彎曲,是不易以補間動畫表現的,因此需藉由預先準備的彎曲腳元件來替換,由於是不同的元件替換,因此僅能以逐格動畫來表現。 目標動畫效果:應用影片片段元件表現可愛動物四隻腳的簡易跑步,除了元件的準備與安排表現動作之外,
Thumbnail
【檢視範例】【範例下載】 關於逐格動畫最常使用的時機,其實就是當無法以補間動畫方式來呈現的動畫,就得退而求其次的以逐格動畫呈現,即是逐一安排關鍵影格的動畫內容來呈現出動畫,當然就需要搭配適當的變形編輯與動畫內容的準備。 目標動畫效果:由逐格動畫搭配變形編輯與傳統補間動畫導引線,製作蝴蝶循移動軌跡飛
Thumbnail
【檢視範例】【範例下載】 關於逐格動畫最常使用的時機,其實就是當無法以補間動畫方式來呈現的動畫,就得退而求其次的以逐格動畫呈現,即是逐一安排關鍵影格的動畫內容來呈現出動畫,當然就需要搭配適當的變形編輯與動畫內容的準備。 目標動畫效果:由逐格動畫搭配變形編輯與傳統補間動畫導引線,製作蝴蝶循移動軌跡飛
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News