ComfyUI 研究 - 多人構圖(二)

閱讀時間約 2 分鐘

接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。

unCLIP 圖片提示詞

unCLIP是ComfyUI官方提供的一種圖片提示詞處理方式,可以在下面網址獲取工作流,因為需要額外下載模型,而且有其他更好用的節點如IPAdapter,所以不太常看到網友用這個工作流。

https://comfyanonymous.github.io/ComfyUI_examples/unclip/

raw-image

這個測試流程是用Copilot的Image Creator生成一張類似電影海報的圖片,提示詞如下:

電影海報風格,勇者小隊出動,中古世紀奇幻風格,魔法師,精靈,矮人,戰士,僧侶。

再挑選其中一張來做為來源圖片測試。

unCLIP因為基底模型的關係,用來繪製人像題材效果不會很好,畫人像以外的效果較佳,同時生成圖像品質也會受到圖像尺寸影響畫質,使用512*512跟1024*1024生成的圖片品質差異很大。

下圖是來源圖片跟生成圖片的比較,左邊是來源圖片,右邊是生成圖片。

raw-image

unCLIP的作用其實是提取圖片元素再輸出到Conditioning,在512*512的圖像尺寸中可以比單純文字提示詞容易生成多人構圖,但是因為會受到畫面元素的交互影響,所以生成的圖片會混雜所有來源圖片的元素,有種汙染的感覺。

這個工作流可以做為圖生圖的草稿使用。


img2img 圖生圖

將上個步驟生成的圖片做為來源圖片丟進圖生圖工作流中。

raw-image

生成的圖片比較如下圖。

raw-image

經過圖生圖工作流生成的圖片,除了風格受到選用模型的影響外,可以看到構圖跟來源圖片差不多。

圖生圖工作流在風格轉換上只要切換模型就可以達成,只是構圖受到來源圖片限制,過高的denoise值又會與原圖差異過大,甚至變成單人圖片。

下圖分別為denoise=0.6跟denoise=1的比較圖,可以明顯看出差異。

raw-image


IPAdapter 應用

IPAdapter的工作流可以參考這篇ComfyUI 研究 - IPAdapter 簡介

本篇測試使用的依然是最基本的IPAdapter工作流,來源圖片一樣使用Coplilot生成的圖片。

raw-image

來源圖片與生成的圖片比較如下。

raw-image

在這個測試中生成圖片尺寸是512*512,已經可以生成多人構圖,而且有參考到來源圖片的元素,所以想要生成小尺寸圖片的多人構圖,使用IPAdapter比上面兩個方法更加容易。


小結

本篇測試使用的是"單純"的圖生圖工作流,很大程度受到來源圖片的元素、構圖、色彩影響,測試時只有加入品質控制用的文字提示詞,減少添加其他元素進到生成圖片中。

因此本篇的方法比較適合用在生成與來源圖片具備類似元素的圖片,同時將風格轉換成選用的模型。

但是回過頭來思考一開始的目的:生成多人構圖圖片,並讓生成的圖片更加可控。

所以使用單純的圖生圖顯然是不夠的!

下篇,將應用Controlnet來增加可控性。

4.9K會員
73內容數
AI的時代已經來臨
留言0
查看全部
發表第一個留言支持創作者!
Frank Hsu的沙龍 的其他內容
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
來測試SDXL Lightning模型是不是真的很神奇。
這篇要搭建製作透明背景素材的工作流。
這一篇要測試一下Video Linear CFG Guidance這個節點,在網路上很多的教學影片跟網友分享的工作流中會看到這個節點,據說這個節點不只可以用在生成影片的工作流中,也可以使用在一般的生成圖片工作流中。
這篇要介紹AI生成影片的兩個方式:SVD 跟 AnimateDiff。
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
來測試SDXL Lightning模型是不是真的很神奇。
這篇要搭建製作透明背景素材的工作流。
這一篇要測試一下Video Linear CFG Guidance這個節點,在網路上很多的教學影片跟網友分享的工作流中會看到這個節點,據說這個節點不只可以用在生成影片的工作流中,也可以使用在一般的生成圖片工作流中。
這篇要介紹AI生成影片的兩個方式:SVD 跟 AnimateDiff。
你可能也想看
Thumbnail
「設計不僅僅是外觀和感覺。設計是其運作的方式。」 — Steve Jobs 身為一個獨立文案,許多人會以為我們的生活只需要面對電腦,從無到有,用精巧的文字填滿空白的螢幕,呈現心目中獨具風格的作品。 ——有的時候可以如此,但其實這是我們夢寐以求的偶發日常。 更多的時候,白天的工作時間總被各種繁雜
Thumbnail
台股、美股近期明顯回檔,市場敘事發生改變,壞消息一樁接一樁出現,下一步該怎麼走呢?本文將探討近期的宏觀經濟事件,並分享個人的操作思考。
Thumbnail
ComfyUI教學第二階段之[Upscale&SDXL],本篇介紹 upscale 與 SDXL 的基本架構,包含相關控制項的調整、模型的選擇以及高級功能的使用。這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
Thumbnail
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
Thumbnail
測試:含有「南極髮草(Deschampsia antarctica)萃取+阿魏酸(ferulic acid)和維生素C」的精華液→對[生活在城市化高污染地區+並每天>2hrs待在戶外]的婦女皮膚,有何幫助──TEWL、黑斑&角鯊烯過氧化%?
Thumbnail
因老化而發生的皮膚乾燥現象,除了已知與玻尿酸、 神經醯胺和膠原蛋白的減少相關外──研究發現:水通道蛋白(Aquaporins, AQPs)的表現...是導致皮膚保濕度不足的主因...
Thumbnail
人體研究:三胜肽(INCI: Tetradecyl Aminobutyroylvalylaminobutyric Urea Trifluoroacetate)──誘導"玻尿酸"增生→填補皺紋、緊緻肌膚...
Thumbnail
讀到這則偷偷說,非常難過。雖然這則偷偷說底下的大家目前留言都好溫暖,但看見越多人訴說自己的經驗,就又更加難受。 碩士論文題目恰巧與性侵倖存者有關,聚焦在約會關係性侵害上。
Thumbnail
在猴抱貓事件之後雖然獲得關注跟媒體的報導,當時卻還未有創立吱吱黨的想法,直到壽山台灣獼猴因研究用的無線電發報器導致頸部不適、受傷,才點燃了抗爭與「台灣獼猴吱吱黨」的創立。
Thumbnail
「設計不僅僅是外觀和感覺。設計是其運作的方式。」 — Steve Jobs 身為一個獨立文案,許多人會以為我們的生活只需要面對電腦,從無到有,用精巧的文字填滿空白的螢幕,呈現心目中獨具風格的作品。 ——有的時候可以如此,但其實這是我們夢寐以求的偶發日常。 更多的時候,白天的工作時間總被各種繁雜
Thumbnail
台股、美股近期明顯回檔,市場敘事發生改變,壞消息一樁接一樁出現,下一步該怎麼走呢?本文將探討近期的宏觀經濟事件,並分享個人的操作思考。
Thumbnail
ComfyUI教學第二階段之[Upscale&SDXL],本篇介紹 upscale 與 SDXL 的基本架構,包含相關控制項的調整、模型的選擇以及高級功能的使用。這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
Thumbnail
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
Thumbnail
測試:含有「南極髮草(Deschampsia antarctica)萃取+阿魏酸(ferulic acid)和維生素C」的精華液→對[生活在城市化高污染地區+並每天>2hrs待在戶外]的婦女皮膚,有何幫助──TEWL、黑斑&角鯊烯過氧化%?
Thumbnail
因老化而發生的皮膚乾燥現象,除了已知與玻尿酸、 神經醯胺和膠原蛋白的減少相關外──研究發現:水通道蛋白(Aquaporins, AQPs)的表現...是導致皮膚保濕度不足的主因...
Thumbnail
人體研究:三胜肽(INCI: Tetradecyl Aminobutyroylvalylaminobutyric Urea Trifluoroacetate)──誘導"玻尿酸"增生→填補皺紋、緊緻肌膚...
Thumbnail
讀到這則偷偷說,非常難過。雖然這則偷偷說底下的大家目前留言都好溫暖,但看見越多人訴說自己的經驗,就又更加難受。 碩士論文題目恰巧與性侵倖存者有關,聚焦在約會關係性侵害上。
Thumbnail
在猴抱貓事件之後雖然獲得關注跟媒體的報導,當時卻還未有創立吱吱黨的想法,直到壽山台灣獼猴因研究用的無線電發報器導致頸部不適、受傷,才點燃了抗爭與「台灣獼猴吱吱黨」的創立。