ComfyUI 研究 - 多人構圖(二)

更新 發佈閱讀 2 分鐘

接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。

unCLIP 圖片提示詞

unCLIP是ComfyUI官方提供的一種圖片提示詞處理方式,可以在下面網址獲取工作流,因為需要額外下載模型,而且有其他更好用的節點如IPAdapter,所以不太常看到網友用這個工作流。

https://comfyanonymous.github.io/ComfyUI_examples/unclip/

raw-image

這個測試流程是用Copilot的Image Creator生成一張類似電影海報的圖片,提示詞如下:

電影海報風格,勇者小隊出動,中古世紀奇幻風格,魔法師,精靈,矮人,戰士,僧侶。

再挑選其中一張來做為來源圖片測試。

unCLIP因為基底模型的關係,用來繪製人像題材效果不會很好,畫人像以外的效果較佳,同時生成圖像品質也會受到圖像尺寸影響畫質,使用512*512跟1024*1024生成的圖片品質差異很大。

下圖是來源圖片跟生成圖片的比較,左邊是來源圖片,右邊是生成圖片。

raw-image

unCLIP的作用其實是提取圖片元素再輸出到Conditioning,在512*512的圖像尺寸中可以比單純文字提示詞容易生成多人構圖,但是因為會受到畫面元素的交互影響,所以生成的圖片會混雜所有來源圖片的元素,有種汙染的感覺。

這個工作流可以做為圖生圖的草稿使用。


img2img 圖生圖

將上個步驟生成的圖片做為來源圖片丟進圖生圖工作流中。

raw-image

生成的圖片比較如下圖。

raw-image

經過圖生圖工作流生成的圖片,除了風格受到選用模型的影響外,可以看到構圖跟來源圖片差不多。

圖生圖工作流在風格轉換上只要切換模型就可以達成,只是構圖受到來源圖片限制,過高的denoise值又會與原圖差異過大,甚至變成單人圖片。

下圖分別為denoise=0.6跟denoise=1的比較圖,可以明顯看出差異。

raw-image


IPAdapter 應用

IPAdapter的工作流可以參考這篇ComfyUI 研究 - IPAdapter 簡介

本篇測試使用的依然是最基本的IPAdapter工作流,來源圖片一樣使用Coplilot生成的圖片。

raw-image

來源圖片與生成的圖片比較如下。

raw-image

在這個測試中生成圖片尺寸是512*512,已經可以生成多人構圖,而且有參考到來源圖片的元素,所以想要生成小尺寸圖片的多人構圖,使用IPAdapter比上面兩個方法更加容易。


小結

本篇測試使用的是"單純"的圖生圖工作流,很大程度受到來源圖片的元素、構圖、色彩影響,測試時只有加入品質控制用的文字提示詞,減少添加其他元素進到生成圖片中。

因此本篇的方法比較適合用在生成與來源圖片具備類似元素的圖片,同時將風格轉換成選用的模型。

但是回過頭來思考一開始的目的:生成多人構圖圖片,並讓生成的圖片更加可控。

所以使用單純的圖生圖顯然是不夠的!

下篇,將應用Controlnet來增加可控性。

留言
avatar-img
Frank Plaza
13.0K會員
89內容數
AI的時代已經來臨
Frank Plaza的其他內容
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
看更多
你可能也想看
Thumbnail
在 vocus 與你一起探索內容、發掘靈感的路上,我們又將啟動新的冒險——vocus App 正式推出! 現在起,你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔,或一天結束後的放鬆時刻,都能自在沈浸在內容宇宙中。
Thumbnail
在 vocus 與你一起探索內容、發掘靈感的路上,我們又將啟動新的冒險——vocus App 正式推出! 現在起,你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔,或一天結束後的放鬆時刻,都能自在沈浸在內容宇宙中。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要用Controlnet去達成多人構圖的目標。
Thumbnail
這篇要用Controlnet去達成多人構圖的目標。
Thumbnail
接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。
Thumbnail
接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
這一篇要測試一下Video Linear CFG Guidance這個節點,在網路上很多的教學影片跟網友分享的工作流中會看到這個節點,據說這個節點不只可以用在生成影片的工作流中,也可以使用在一般的生成圖片工作流中。
Thumbnail
這一篇要測試一下Video Linear CFG Guidance這個節點,在網路上很多的教學影片跟網友分享的工作流中會看到這個節點,據說這個節點不只可以用在生成影片的工作流中,也可以使用在一般的生成圖片工作流中。
Thumbnail
這篇要移除畫面中的特定物品後自動填滿
Thumbnail
這篇要移除畫面中的特定物品後自動填滿
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News