Stable Diffusion進階 -- 人偶生圖(二)

閱讀時間約 4 分鐘
人偶生圖法範例

前言

在上一篇文章中,我使用人偶圖產出了一個姿勢正確,但是手指錯亂且臉型崩潰的半成品圖,這一篇我要繼續修正這些問題,得到一個草稿圖,再使用這個草稿製作大張的完成圖。

步驟

需要修正的半成品

手修正

對於需要修正的手指,可以用之前在 Stable Diffusion進階 -- Loopback手部修復 提到的手法來修復,但是在人偶生成法裡,有一個訣竅可以更簡便地做出修補,就是利用最初幾回合生成的圖片來修復。
由於這一系列的圖片都是由同一組姿勢控制設定所生成,照理來說所有的手部姿勢、光影與位置應該都是類似的,所以我們可以打開檔案夾,找出一個手部還沒崩壞的圖片,在繪圖軟體中開啟特意挑選的手部完好圖,以及之前產生的半成品圖,將完好的手部擷取下來,接肢到半成品圖上,再使用塗抹或其他工具將明顯有色差的部分塗抹銜接起來,就能得到一個肢體形狀正確但色澤不一樣的肢體修復圖:
接肢修復圖
此時如果有必要,可以使用下列的方法修正色差。但如果只是要提取邊線稿,這樣的修復就足夠了,因為邊線草稿不在乎色澤。
首先將圖輸入img2img,這樣才能讓整個人物的顏色同時均勻化,使用Denoising strength為0.3的低度權重,確保跑圖時不會讓手又變形了:
img2img的設定
我曾經試著使用inpaint只針對手部來重繪,但效果非常不穩定,常常手臂的顏色與身體相差太多,所以用img2img來讓全身膚色一齊改變反而能得到較穩定的結果。
接著是ControlNet的設定。第一個ControlNet依然使用openpose的設定,與上一回人偶生圖時一樣不變,但是第二個ControlNet必須從depth或normal改換成canny,且使用已經修正好的半成品圖當作來源。而Control weight強化到1,這樣才能保證生圖時手部形狀不變,而只變膚色:
第二組ControlNet使用canny,且圖換成半成品圖,權重改回1
接著設定Loopback的連續輸入,在這邊Final denoising strength可以試試0.3到0.5的強度,讓全身變形的幅度限制在顏色與花紋等細節,而身體姿勢由於低權重與ControlNet鉗制的關係,可以維持相當的穩定度:
Loopback設定
這樣開始跑圖,通常在前幾張就能得到很不錯的成果了:
手部色澤修正好的草稿圖

草稿生圖

在修正好所有明顯問題之後,這就是一張可以拿來繼續生圖的草稿了。有好幾種方法可以繼續生成完成圖:
  1. 如果這是某個大構圖的其中一個角色,就可以將該圖簡單去背之後組裝到其他圖上。
  2. 如果這張圖本身就是完成圖,接下來可以去背將黑色的部分清除,再填上底色,然後使用一樣的ControlNet設定搭配高強度的Denosing strength跑圖,就能產生真正的背景畫面。
  3. 如果這張圖我只需要線稿的部分,色澤不是我顧慮的地方,就可以將這張草稿圖當作是txt2img內ControlNet設定的canny以及depth的來源來產生大圖。
下面這張成果圖就是使用該草稿圖當作ControlNet的canny來源,跑txt2img輸出的成品:
成果圖

臉修正

另一個問題是人物的臉。由於從人偶產生人物圖片時,頭型會受到原始人偶圖的頭型限制,所以臉型都很有可能怪怪的。這時候最好的做法就是將圖放大之後解除ControlNet的設定,只留下Openpose保留五官的位置不變,然後使用inpaint針對頭部重繪,這樣就可以得到不錯的頭臉與五官。

結論

人偶生圖法的步驟顯然比其他方法複雜、容易出錯,但它也是我目前固定角色姿勢最穩定,最能得到預期結果的方法,在一些有嚴格動作限制的概念插畫與漫畫電影分鏡稿裡面,當一般提示詞與簡單的ControlNet都無法滿足時,這可能是最能引導AI畫出你想要的構圖與動態的方法。
人偶生圖法範例
人偶生圖法用於多人構圖
利用人偶生圖法與繪圖軟體修改手指
人偶生圖法範例
祝大家AI算圖愉快!
即將進入廣告,捲動後可繼續閱讀
為什麼會看到廣告
avatar-img
21.9K會員
382內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
前言 本篇要介紹一個流程,讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度,並且經過一套流程之後,轉化成我們要的人物。 在使用Stable Diffusion生成圖片時,最常遇見的問題是人物的動作或位置不照我們的心意生成,尤其是一些高動態或不常見的姿勢與角度,或者手持物品,在某些模型上是
本篇要解說一個用ControlNet加上Loopback來達到修正壞掉的手部姿勢的方法。這個方法與之前寫過的 Stable Diffusion進階 -- 手部修復 最大的不同點是,要求更高一些的繪圖軟體技巧,以及使用ControlNet來監控修復的完成度。
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
這篇要來探討一個建立角色穿著的手法,就是透過紙娃娃系統的概念,將裸體角色穿上衣物。
這篇要討論的主題與 Stable Diffusion進階 -- 穿衣換衣術 類似,但是要使用更穩定的方法把衣服變成自己想要的樣子。
前言 本篇要介紹一個流程,讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度,並且經過一套流程之後,轉化成我們要的人物。 在使用Stable Diffusion生成圖片時,最常遇見的問題是人物的動作或位置不照我們的心意生成,尤其是一些高動態或不常見的姿勢與角度,或者手持物品,在某些模型上是
本篇要解說一個用ControlNet加上Loopback來達到修正壞掉的手部姿勢的方法。這個方法與之前寫過的 Stable Diffusion進階 -- 手部修復 最大的不同點是,要求更高一些的繪圖軟體技巧,以及使用ControlNet來監控修復的完成度。
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
這篇要來探討一個建立角色穿著的手法,就是透過紙娃娃系統的概念,將裸體角色穿上衣物。
這篇要討論的主題與 Stable Diffusion進階 -- 穿衣換衣術 類似,但是要使用更穩定的方法把衣服變成自己想要的樣子。
本篇參與的主題活動
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下,有許多工具可以幫助我們學習與撰寫程式,這篇文章提供了實作範例與一些經驗,分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習,並且完成屬於自己的程式。
前幾個禮拜,AWS 舉行 Startup Day Taiwan。想當然爾,最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具,身為一名工程師,自然看看無妨,這篇文章算是新手開箱文,會說明如何部署一套基礎模型,並使用 AWS SDK 與其互動。
前言 我在工作中沒有什麼機會接觸到機器學習,學生時期也沒有學習過相關知識。 作為一個業餘小白,我對機器學習非常感興趣。在自學的過程中,我逐漸意識到利用機器學習可以做很多有趣的事情。 因此,我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ,以了解機
最近玩到了一個我覺得很新奇有趣的軟體,叫做SillyTavern。 SillyTavern是專用於創建虛擬角色的AI聊天軟體,SillyTavern是TavernAI的分支,但SillyTavern走上了自己的路,加進了許多額外功能,並且仍在積極的持續更新中。 然後,可以色色!
「Prompt」這個詞是提示的意思,但為什麼需要提示呢? 當AI不理解我們的時候,勢必給出的回應並非準確的為我們解答,因此一個好的提示是非常重要的,就如同我們人與人之間的溝通一樣,如何將自己心裡的疑惑轉化成好的問題來提問對方,讓對方理解,進而給出一個明確的答案,這就是提示(Prompt)的重要性,對
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下,有許多工具可以幫助我們學習與撰寫程式,這篇文章提供了實作範例與一些經驗,分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習,並且完成屬於自己的程式。
前幾個禮拜,AWS 舉行 Startup Day Taiwan。想當然爾,最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具,身為一名工程師,自然看看無妨,這篇文章算是新手開箱文,會說明如何部署一套基礎模型,並使用 AWS SDK 與其互動。
前言 我在工作中沒有什麼機會接觸到機器學習,學生時期也沒有學習過相關知識。 作為一個業餘小白,我對機器學習非常感興趣。在自學的過程中,我逐漸意識到利用機器學習可以做很多有趣的事情。 因此,我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ,以了解機
最近玩到了一個我覺得很新奇有趣的軟體,叫做SillyTavern。 SillyTavern是專用於創建虛擬角色的AI聊天軟體,SillyTavern是TavernAI的分支,但SillyTavern走上了自己的路,加進了許多額外功能,並且仍在積極的持續更新中。 然後,可以色色!
「Prompt」這個詞是提示的意思,但為什麼需要提示呢? 當AI不理解我們的時候,勢必給出的回應並非準確的為我們解答,因此一個好的提示是非常重要的,就如同我們人與人之間的溝通一樣,如何將自己心裡的疑惑轉化成好的問題來提問對方,讓對方理解,進而給出一個明確的答案,這就是提示(Prompt)的重要性,對
你可能也想看
Google News 追蹤
Thumbnail
我已往產生圖片都會盡量避開手部(手指)的動作,這次,真的認真來刻意畫手。 (其實,我覺得 Bing 和 ChatGPT 的 DALL·E 3 模型畫手也勉強可以,但我絕對不會特別想去強調 "手" 的動作,來產生圖片。)
Thumbnail
日式小顏術主要分為兩種,操作的層次、效果、還有維持時間都不一樣,是基於不同的原理。許多人常將兩種混淆,誤以為這兩項技術是相同的🫣 坊間的日式筋膜小顏/撥筋、打針或埋線等等都未能讓臉部骨骼對稱、平衡! 只會越做越顯得本身臉部問題變得更明顯喔~ 正骨很多人誤以為過程一定會痛,但本店正骨小顏是由頭部
Thumbnail
在第一篇我講到一開始的圖像風格轉換,每產生一張圖片都得重新訓練,這對於使用上難免綁手綁腳,所以理所當然的下一步就是要解決這個問題,看看能不能只要訓練一次,就可以重複使用。
Thumbnail
Ae 小技巧:Adjustment Layer 調整圖層 動態後記系列會記錄一些我在製作中的記錄,可能是分解動畫、小技巧、發想、腳本......等等。 每篇都是小短篇,就是補充用的小筆記,沒有前後順序,可跳著閱讀。
Thumbnail
在畫漫畫的時候,常常會出現角色性格不明顯的問題,一不留神創造出多個性格類似的角色,導致出現故事發展和角色行為單一的現象。 為了避免以上的狀況,我自己使用一套小方法,基本架構如下:
Thumbnail
  你正在盯著人設撓頭抓首嗎?   你總是反覆推敲角色行動,思考筆下的劇情是否增加角色魅力?   又或者,你看著檯面上那麼多優秀的作品,優秀的角色,卻不知道怎麼自己寫一個出來?   這全都很正常,因為刻劃人物就是一件那麼困難的事情。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
本文來分享一些 Openpose 的控制線圖,有需要的朋友,自行運用喔。點選連結,可以直接在 Tensor Art 上看到所使用的模型與提示詞。
Thumbnail
如果相由心生 整型會改變手面相所帶來影響嗎!! 20出頭歲因工作需要短時間識人 開始自學研讀6本手面相書籍 實務驗證運用確實有其準確度 手相面相論定是以 五官輪廓及手部形狀紋路 肌肉脂肪分佈狀況 與骨架生長方式的呈現 人會因年齡增長手面相也會跟著改變 所以手面相端看是以當
Thumbnail
我已往產生圖片都會盡量避開手部(手指)的動作,這次,真的認真來刻意畫手。 (其實,我覺得 Bing 和 ChatGPT 的 DALL·E 3 模型畫手也勉強可以,但我絕對不會特別想去強調 "手" 的動作,來產生圖片。)
Thumbnail
日式小顏術主要分為兩種,操作的層次、效果、還有維持時間都不一樣,是基於不同的原理。許多人常將兩種混淆,誤以為這兩項技術是相同的🫣 坊間的日式筋膜小顏/撥筋、打針或埋線等等都未能讓臉部骨骼對稱、平衡! 只會越做越顯得本身臉部問題變得更明顯喔~ 正骨很多人誤以為過程一定會痛,但本店正骨小顏是由頭部
Thumbnail
在第一篇我講到一開始的圖像風格轉換,每產生一張圖片都得重新訓練,這對於使用上難免綁手綁腳,所以理所當然的下一步就是要解決這個問題,看看能不能只要訓練一次,就可以重複使用。
Thumbnail
Ae 小技巧:Adjustment Layer 調整圖層 動態後記系列會記錄一些我在製作中的記錄,可能是分解動畫、小技巧、發想、腳本......等等。 每篇都是小短篇,就是補充用的小筆記,沒有前後順序,可跳著閱讀。
Thumbnail
在畫漫畫的時候,常常會出現角色性格不明顯的問題,一不留神創造出多個性格類似的角色,導致出現故事發展和角色行為單一的現象。 為了避免以上的狀況,我自己使用一套小方法,基本架構如下:
Thumbnail
  你正在盯著人設撓頭抓首嗎?   你總是反覆推敲角色行動,思考筆下的劇情是否增加角色魅力?   又或者,你看著檯面上那麼多優秀的作品,優秀的角色,卻不知道怎麼自己寫一個出來?   這全都很正常,因為刻劃人物就是一件那麼困難的事情。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
本文來分享一些 Openpose 的控制線圖,有需要的朋友,自行運用喔。點選連結,可以直接在 Tensor Art 上看到所使用的模型與提示詞。
Thumbnail
如果相由心生 整型會改變手面相所帶來影響嗎!! 20出頭歲因工作需要短時間識人 開始自學研讀6本手面相書籍 實務驗證運用確實有其準確度 手相面相論定是以 五官輪廓及手部形狀紋路 肌肉脂肪分佈狀況 與骨架生長方式的呈現 人會因年齡增長手面相也會跟著改變 所以手面相端看是以當