ComfyUI 研究 - VideoLinearCFGGuidance

更新於 2024/03/01閱讀時間約 4 分鐘

前言

這一篇要測試一下Video Linear CFG Guidance這個節點,在網路上很多的教學影片跟網友分享的工作流中會看到這個節點,據說這個節點不只可以用在生成影片的工作流中,也可以使用在一般的生成圖片工作流中。

raw-image


如同大多數的節點一樣,我們不知道這個節點的實際運作原理是什麼,只知道在工作流中加入這個節點後生成的圖片會比較好看,但是實際使用時卻會發現一個沒搞好生成的圖片反而崩壞。


圖片生成測試

1.CFG值=7

下圖是為了測試而搭建的工作流,在這張圖中尚未接上VideoLinearCFGGuidance。

raw-image


這張圖中採用的大模型是SDVN7-NijiStyleXL,可以在CIVITAI網站搜尋並下載,使用的文字提示詞是模型提供者的範例圖片調整而來,為了方便修改將不同的提示詞分行顯示。

其中KSampler中的CFG參數透過右鍵改成輸入節點,另外串接了Primitive Float節點,方便跟VideoLinearCFGGuidance這個節點的min_cfg做對比。


2.CFG 1~7

下圖另外複製了一份KSampler跟VAE decode,跟原本的KSampler串接方式一樣,只是在model輸入時先串接了VideoLinearCFGGuidance。

raw-image


在這個工作流中串接了Batch Image是為了將兩張圖片併排比較,執行後生成的圖片如下圖。

raw-image


上圖左邊是串接VideoLinearCFGGuidance前,右邊是串接後,可以明顯看出兩張圖根本是不一樣的圖片,而且串接後畫面品質變差很多。


接下來測試將min_cfg值改成5,縮小差距後生成的圖片如下圖。

raw-image

結果雖然比前一個好,但是構圖還是產生了不一樣的結果。

再來將min_cfg值改成6,生成的圖片如下圖。

raw-image

仔細看人物的臉型有些許不同,但是構圖已經非常相近,就看喜歡那一張。


3.CFG 2~3

下面再來測試低CFG值的效果。

下圖分別是CFG值3跟使用VideoLinearCFGGuidance設定min_cfg值為2的生成圖片比對。

raw-image

因為CFG值改變時構圖會完全不同,所以這是重新抽卡後得到想要的構圖後再做的測試。


分析

在測試的過程中發現圖片的構圖受CFG值影響蠻大,而套用VideoLinearCFGGuidance後生成的圖像感覺是混合了不同CFG值的圖片的構圖、色調、線條...等。

為了更好的理解這個節點的效果,我將工作流修改如下圖。

raw-image

可以看到我用了3組KSampler,由左至右分別是CFG=3,CFG=2~3,CFG=2,生成的圖片如下圖。

raw-image

可以觀察到中間CFG=2~3生成的圖片其實非常接近CFG=2的圖片。

之後更改了數值將CFG的最大值改成7,發現是一樣的結果,所以在生成單張圖片的時候套用這個節點是沒有用處的。


修正

所以VideoLinearCFGGuidance的正確用法為何?

我修正了原本的工作流為下圖。

raw-image

這個工作流中只用了一組KSampler,但是Empty Latent Image的batch_size改成4,表示執行一次會生成四張圖片。

而執行後得到的圖片如下圖。

raw-image

可以看出這個工作流會生成4張不同的圖片,這結果顯示了VideoLinearCFGGuidance的作用是在一次生成多個圖片時改變CFG值,因此可以確定只能使用在生成影片或是測試不同CFG值生成圖片的工作流中。


小結

VideoLinearCFGGuidance這個節點在生成單張圖片時是會直接使用min_cfg值生成圖片,因此不需要在一般的圖片生成工作流中使用這個節點。

另外我用SVD的官方工作流測試生成動畫時使用與不使用的效果,結果發現使用了VideoLinearCFGGuidance後生成的影片只是消除了初始幀數跟後續幀數間的不自然過度關係。

因為SVD的官方工作流一開始輸入的圖片是一張高畫質的風景照片,所以在經過SVD模型處理時初始幀仍然是高畫質的圖片,但後續圖片因為加入了動態而模糊,所以不使用VideoLinearCFGGuidance時會有一個不自然的變化。

在之後測試生成影片的工作流時,會再測試使用這個節點與否的效果。

avatar-img
7.1K會員
76內容數
AI的時代已經來臨
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Frank Hsu的沙龍 的其他內容
這篇要介紹AI生成影片的兩個方式:SVD 跟 AnimateDiff。
這篇的主要目的是搭建出基本可用的Controlnet工作流。
這篇要講的圖像提示詞概念是在AI繪圖的過程中輸入圖片,讓AI去理解圖像內容,或是直接參考圖像的構圖或色彩,再產生新的圖片。 雖然我最常用的是文字提示詞的方式生圖,但是圖像提示詞的應用比文字提示詞更廣也更加複雜,尤其在生成影片的範疇。 即使OpenAI在近日發表了強大的文生影片的Sora模型,但畢
這篇要研究文字提示詞的處理方式。
這篇要介紹AI生成影片的兩個方式:SVD 跟 AnimateDiff。
這篇的主要目的是搭建出基本可用的Controlnet工作流。
這篇要講的圖像提示詞概念是在AI繪圖的過程中輸入圖片,讓AI去理解圖像內容,或是直接參考圖像的構圖或色彩,再產生新的圖片。 雖然我最常用的是文字提示詞的方式生圖,但是圖像提示詞的應用比文字提示詞更廣也更加複雜,尤其在生成影片的範疇。 即使OpenAI在近日發表了強大的文生影片的Sora模型,但畢
這篇要研究文字提示詞的處理方式。
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
ComfyUI教學第二階段之[Upscale&SDXL],本篇介紹 upscale 與 SDXL 的基本架構,包含相關控制項的調整、模型的選擇以及高級功能的使用。這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
Thumbnail
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
Thumbnail
測試:含有「南極髮草(Deschampsia antarctica)萃取+阿魏酸(ferulic acid)和維生素C」的精華液→對[生活在城市化高污染地區+並每天>2hrs待在戶外]的婦女皮膚,有何幫助──TEWL、黑斑&角鯊烯過氧化%?
Thumbnail
因老化而發生的皮膚乾燥現象,除了已知與玻尿酸、 神經醯胺和膠原蛋白的減少相關外──研究發現:水通道蛋白(Aquaporins, AQPs)的表現...是導致皮膚保濕度不足的主因...
Thumbnail
人體研究:三胜肽(INCI: Tetradecyl Aminobutyroylvalylaminobutyric Urea Trifluoroacetate)──誘導"玻尿酸"增生→填補皺紋、緊緻肌膚...
Thumbnail
讀到這則偷偷說,非常難過。雖然這則偷偷說底下的大家目前留言都好溫暖,但看見越多人訴說自己的經驗,就又更加難受。 碩士論文題目恰巧與性侵倖存者有關,聚焦在約會關係性侵害上。
Thumbnail
在猴抱貓事件之後雖然獲得關注跟媒體的報導,當時卻還未有創立吱吱黨的想法,直到壽山台灣獼猴因研究用的無線電發報器導致頸部不適、受傷,才點燃了抗爭與「台灣獼猴吱吱黨」的創立。
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
ComfyUI教學第二階段之[Upscale&SDXL],本篇介紹 upscale 與 SDXL 的基本架構,包含相關控制項的調整、模型的選擇以及高級功能的使用。這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
Thumbnail
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
Thumbnail
測試:含有「南極髮草(Deschampsia antarctica)萃取+阿魏酸(ferulic acid)和維生素C」的精華液→對[生活在城市化高污染地區+並每天>2hrs待在戶外]的婦女皮膚,有何幫助──TEWL、黑斑&角鯊烯過氧化%?
Thumbnail
因老化而發生的皮膚乾燥現象,除了已知與玻尿酸、 神經醯胺和膠原蛋白的減少相關外──研究發現:水通道蛋白(Aquaporins, AQPs)的表現...是導致皮膚保濕度不足的主因...
Thumbnail
人體研究:三胜肽(INCI: Tetradecyl Aminobutyroylvalylaminobutyric Urea Trifluoroacetate)──誘導"玻尿酸"增生→填補皺紋、緊緻肌膚...
Thumbnail
讀到這則偷偷說,非常難過。雖然這則偷偷說底下的大家目前留言都好溫暖,但看見越多人訴說自己的經驗,就又更加難受。 碩士論文題目恰巧與性侵倖存者有關,聚焦在約會關係性侵害上。
Thumbnail
在猴抱貓事件之後雖然獲得關注跟媒體的報導,當時卻還未有創立吱吱黨的想法,直到壽山台灣獼猴因研究用的無線電發報器導致頸部不適、受傷,才點燃了抗爭與「台灣獼猴吱吱黨」的創立。