ComfyUI 研究 - 多人構圖(二)

更新於 2024/03/20閱讀時間約 2 分鐘

接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。

unCLIP 圖片提示詞

unCLIP是ComfyUI官方提供的一種圖片提示詞處理方式,可以在下面網址獲取工作流,因為需要額外下載模型,而且有其他更好用的節點如IPAdapter,所以不太常看到網友用這個工作流。

https://comfyanonymous.github.io/ComfyUI_examples/unclip/

raw-image

這個測試流程是用Copilot的Image Creator生成一張類似電影海報的圖片,提示詞如下:

電影海報風格,勇者小隊出動,中古世紀奇幻風格,魔法師,精靈,矮人,戰士,僧侶。

再挑選其中一張來做為來源圖片測試。

unCLIP因為基底模型的關係,用來繪製人像題材效果不會很好,畫人像以外的效果較佳,同時生成圖像品質也會受到圖像尺寸影響畫質,使用512*512跟1024*1024生成的圖片品質差異很大。

下圖是來源圖片跟生成圖片的比較,左邊是來源圖片,右邊是生成圖片。

raw-image

unCLIP的作用其實是提取圖片元素再輸出到Conditioning,在512*512的圖像尺寸中可以比單純文字提示詞容易生成多人構圖,但是因為會受到畫面元素的交互影響,所以生成的圖片會混雜所有來源圖片的元素,有種汙染的感覺。

這個工作流可以做為圖生圖的草稿使用。


img2img 圖生圖

將上個步驟生成的圖片做為來源圖片丟進圖生圖工作流中。

raw-image

生成的圖片比較如下圖。

raw-image

經過圖生圖工作流生成的圖片,除了風格受到選用模型的影響外,可以看到構圖跟來源圖片差不多。

圖生圖工作流在風格轉換上只要切換模型就可以達成,只是構圖受到來源圖片限制,過高的denoise值又會與原圖差異過大,甚至變成單人圖片。

下圖分別為denoise=0.6跟denoise=1的比較圖,可以明顯看出差異。

raw-image


IPAdapter 應用

IPAdapter的工作流可以參考這篇ComfyUI 研究 - IPAdapter 簡介

本篇測試使用的依然是最基本的IPAdapter工作流,來源圖片一樣使用Coplilot生成的圖片。

raw-image

來源圖片與生成的圖片比較如下。

raw-image

在這個測試中生成圖片尺寸是512*512,已經可以生成多人構圖,而且有參考到來源圖片的元素,所以想要生成小尺寸圖片的多人構圖,使用IPAdapter比上面兩個方法更加容易。


小結

本篇測試使用的是"單純"的圖生圖工作流,很大程度受到來源圖片的元素、構圖、色彩影響,測試時只有加入品質控制用的文字提示詞,減少添加其他元素進到生成圖片中。

因此本篇的方法比較適合用在生成與來源圖片具備類似元素的圖片,同時將風格轉換成選用的模型。

但是回過頭來思考一開始的目的:生成多人構圖圖片,並讓生成的圖片更加可控。

所以使用單純的圖生圖顯然是不夠的!

下篇,將應用Controlnet來增加可控性。

avatar-img
7.1K會員
76內容數
AI的時代已經來臨
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Frank Hsu的沙龍 的其他內容
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
來測試SDXL Lightning模型是不是真的很神奇。
這篇要搭建製作透明背景素材的工作流。
這一篇要測試一下Video Linear CFG Guidance這個節點,在網路上很多的教學影片跟網友分享的工作流中會看到這個節點,據說這個節點不只可以用在生成影片的工作流中,也可以使用在一般的生成圖片工作流中。
這篇要介紹AI生成影片的兩個方式:SVD 跟 AnimateDiff。
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
來測試SDXL Lightning模型是不是真的很神奇。
這篇要搭建製作透明背景素材的工作流。
這一篇要測試一下Video Linear CFG Guidance這個節點,在網路上很多的教學影片跟網友分享的工作流中會看到這個節點,據說這個節點不只可以用在生成影片的工作流中,也可以使用在一般的生成圖片工作流中。
這篇要介紹AI生成影片的兩個方式:SVD 跟 AnimateDiff。
你可能也想看
Google News 追蹤
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
最近在嘗試使用不同的AI生圖方式混合出圖的方式,採用A平台的優點,並用B平台後製的手法截長補短,創造出自己更想要的小說場景,效果不錯,現在以這張圖為例,來講一下我的製作步驟。
Thumbnail
實時繪圖(一)-安裝ComfyUI+krita心得與教學繼這一篇安裝完畢後,就是開始挑戰電商產品圖製作,意外的簡單,基本上素材找好,在調整個2分鐘,就完成了 接下來我就把我做的方法與步驟分享給大家巴 首先先找好的你的透明素材產品,那麼免費的素材網站我已經幫你找好了,可以商用,請注意一定要用去背的
1 文字之後補充 2 3 4 5
Thumbnail
UIUX 設計師們,是否時常尋找新的靈感來豐富你的網頁設計?以下介紹三個寶藏網站,將為你的創作之路帶來耳目一新的風景。
Thumbnail
結合不同AI軟體,無論「文本敘述生圖」、「以圖繪圖」、「AI局部改圖」,多多嘗試,才能得到更好的結果,玩得開心,結果自然愉快。 先用Canva「Text to image」勾勒出人體崩壞圖,它畫面構圖仍是好的,再用Unidream「文本描述生圖」上傳參考圖並輸入文字指示,立馬正常許多
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
最近在嘗試使用不同的AI生圖方式混合出圖的方式,採用A平台的優點,並用B平台後製的手法截長補短,創造出自己更想要的小說場景,效果不錯,現在以這張圖為例,來講一下我的製作步驟。
Thumbnail
實時繪圖(一)-安裝ComfyUI+krita心得與教學繼這一篇安裝完畢後,就是開始挑戰電商產品圖製作,意外的簡單,基本上素材找好,在調整個2分鐘,就完成了 接下來我就把我做的方法與步驟分享給大家巴 首先先找好的你的透明素材產品,那麼免費的素材網站我已經幫你找好了,可以商用,請注意一定要用去背的
1 文字之後補充 2 3 4 5
Thumbnail
UIUX 設計師們,是否時常尋找新的靈感來豐富你的網頁設計?以下介紹三個寶藏網站,將為你的創作之路帶來耳目一新的風景。
Thumbnail
結合不同AI軟體,無論「文本敘述生圖」、「以圖繪圖」、「AI局部改圖」,多多嘗試,才能得到更好的結果,玩得開心,結果自然愉快。 先用Canva「Text to image」勾勒出人體崩壞圖,它畫面構圖仍是好的,再用Unidream「文本描述生圖」上傳參考圖並輸入文字指示,立馬正常許多
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。