ComfyUI 研究 - 多人構圖(三)

更新於 發佈於 閱讀時間約 3 分鐘

這篇要用Controlnet去達成多人構圖的目標。

來源圖片一樣透過Copilot生成,事實上Copilot非常適合用來抽圖,但是目前只能用文字控制,另外一天的免費加速額度有限,用完後生成速度會慢很多,要等上一天才可以再獲得加速額度,但肢體正確度與文字理解能力都非常強。


Scribble

Scribble的預處理器會將來源圖片處理成草稿形式,如下圖中間,然後再生成圖片。

raw-image

仔細看的話生成的圖片出現嚴重的肢體錯誤,因為模型非常不擅長處理倒過來的人臉。

我測試時使用的是 ComfyUI's ControlNet Auxiliary Preprocessors提供的Fake Scribble Lines (aka scribble_hed)節點,這個節點在處理高完成度的來源圖片時會產生比較像草稿的控制圖,如果來源圖片本身是手稿類草稿的話,可以使用Scribble Lines做預處理。

下圖左邊就是做為靈魂繪手的我,為了測試而犧牲小我畫出來的參考圖,中間是經過Scribble Lines處理過的參考圖,右邊是生成的圖片。

raw-image

當然,為了達到右邊生成的圖片效果,還是必須要在文字提示詞放入詳細的描述跟調整其他參數,如下圖將end_percent調整到0.3才獲得比較好的效果。

raw-image


Openpose

Openpose應該是最多人使用的Controlnet功能,透過偵測人臉跟肢體,很大程度的控制了生成圖片的人物姿勢,又不會受到來源圖片的元素影響。

下圖中間是使用Openpose pose預處理器處理後的控制圖,只偵測臉部的話生成的圖片跟來源圖片動作差異甚大,而且無法偵側倒過來的人臉。

raw-image


下圖中間是讓預處理器偵測手、身體、臉再次生成的圖片,一樣無法偵測到倒過來的人臉,生成的圖片動作跟來源圖片非常相近。

raw-image


下圖是將預處理器處理過的控制圖在繪圖軟體中處理拼接後,做為控制圖使用,雖然加入了倒立的人,但臉部跟肢體都崩壞了。

raw-image


Openpose的優點是專注在姿勢上,缺點就是預處理器無法處理倒過來的人臉,而非正面的臉會畫崩應該是StableDiffusion模型本身的侷限。


Canny

下圖是使用Canny的效果。

raw-image

Canny的預處理節點數值調整效果如下圖。

raw-image

使用Canny時因為會很高程度地採用原圖的線條,所以在繪製倒過來的人臉時也比較不容易崩壞掉,但同時細節也受到更高程度的限制,如果調整套用時的強度跟百分比,又會與控制圖差異過大,人數會產生變化,所以Canny比較常見使用在線稿轉彩稿的應用上。


Lineart

下圖是使用Lineart的效果。

raw-image

Lineart的效果跟Canny差不多,倒立的人臉也不太會崩壞,但是生成的圖片偏暗一點。

可能是受到搭配的模型在訓練時的資料影響。


小結

本篇簡單測試了幾個Controlnet的功能,雖然都可以在512*512的生成尺寸達到多人構圖的目標,但是共通的缺點是倒過來的人臉跟肢體容易崩壞掉,而不易崩壞掉的功能又會因為控制強度過高,使生成圖片跟參考圖片差異過小。

如果想要更好的控制構圖跟畫面品質,則必須搭配IPAdapter或FaceSwap等節點,工作流又會過於複雜.......。

看來探索的旅程還沒結束。

留言
avatar-img
留言分享你的想法!
D&Y熊繪生-avatar-img
2024/03/23
讚!
avatar-img
Frank Plaza
10.3K會員
89內容數
AI的時代已經來臨
Frank Plaza的其他內容
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
看更多
你可能也想看
Thumbnail
孩子寫功課時瞇眼?小心近視!這款喜光全光譜TIONE⁺光健康智慧檯燈,獲眼科院長推薦,網路好評不斷!全光譜LED、180cm大照明範圍、5段亮度及色溫調整、350度萬向旋轉,讓孩子學習更舒適、保護眼睛!
Thumbnail
孩子寫功課時瞇眼?小心近視!這款喜光全光譜TIONE⁺光健康智慧檯燈,獲眼科院長推薦,網路好評不斷!全光譜LED、180cm大照明範圍、5段亮度及色溫調整、350度萬向旋轉,讓孩子學習更舒適、保護眼睛!
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
這是什麼大問題嗎?這樣就寫一篇文章,會不會太混了! 會! 其實蠻混的! 哈哈哈! 1.英文不好,乾脆用中文。就用微軟 Copilot 設計工具 的網址在此。好啦!
Thumbnail
這是什麼大問題嗎?這樣就寫一篇文章,會不會太混了! 會! 其實蠻混的! 哈哈哈! 1.英文不好,乾脆用中文。就用微軟 Copilot 設計工具 的網址在此。好啦!
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要用Controlnet去達成多人構圖的目標。
Thumbnail
這篇要用Controlnet去達成多人構圖的目標。
Thumbnail
接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。
Thumbnail
接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
這一篇要測試一下Video Linear CFG Guidance這個節點,在網路上很多的教學影片跟網友分享的工作流中會看到這個節點,據說這個節點不只可以用在生成影片的工作流中,也可以使用在一般的生成圖片工作流中。
Thumbnail
這一篇要測試一下Video Linear CFG Guidance這個節點,在網路上很多的教學影片跟網友分享的工作流中會看到這個節點,據說這個節點不只可以用在生成影片的工作流中,也可以使用在一般的生成圖片工作流中。
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
Thumbnail
前篇測試如何把提示詞生成的圖像細節提高,這篇要測試的工作流是把任意圖像載入後經由放大模型放大,同時測試放大後重繪看看效果如何。
Thumbnail
前篇測試如何把提示詞生成的圖像細節提高,這篇要測試的工作流是把任意圖像載入後經由放大模型放大,同時測試放大後重繪看看效果如何。
Thumbnail
ComfyUI可以直接將WebUI(A1111算法)生成的圖像拉進介面讀取工作流與提示詞,但是會生成完成不同的圖像,為了讓圖像成果更加接近WebUI(A1111算法)生成的圖像,預設工作流中的部份Nodes需要被替換,且替換完要將一些參數改成A1111。
Thumbnail
ComfyUI可以直接將WebUI(A1111算法)生成的圖像拉進介面讀取工作流與提示詞,但是會生成完成不同的圖像,為了讓圖像成果更加接近WebUI(A1111算法)生成的圖像,預設工作流中的部份Nodes需要被替換,且替換完要將一些參數改成A1111。
Thumbnail
這篇是以預設工作流為基礎,加入提示詞去控制畫面,目的是控制生成圖像的主題跟提升品質。
Thumbnail
這篇是以預設工作流為基礎,加入提示詞去控制畫面,目的是控制生成圖像的主題跟提升品質。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News