Comfy 官方應用更新詳解

更新於 2024/06/28閱讀時間約 10 分鐘

我們今天來詳細看一下 comfy 官方在 12 月 19 日發布的更新公告,如果看英文頭會裂開的朋友可以開著頁面翻譯來參考。

在開始前記得先把你的 comfy 更新並重開,才能邊看邊嘗試這些更新內容。




一步到位模型

首先是 SDXL turbo 的支援,點一下文章中提供的範例頁面連結,然後下載裡面的範例圖片,把圖丟進 comfy 就可以直接得到 workflow。官方提供了 XLturbo 的專用調度器方塊,你需要做的除了下載這張圖片來取得 workflow,還需要下載 XLturbo 模型本身。


如果你的電腦跑不動 XLturbo 的話,官方也有提供基於 SD2.1 提煉出的 SD turbo


turbo 的特色是目前唯一的一步到位生成,比 LCM 還要快,並且是基於 XL 來提取的,所以基礎能處理的畫布大小就在 1024,雖然 LCM 也是有做 XL 版啦,不過就官方自己提供的測試數據對比下來,確實是 turbo 的分數更高。




前端改進

再來是幾個實用的操作更新。

Group nodes

第一項是之前要另外安裝 custom node 才能實現的功能:合併方塊

同時選取兩個以上的方塊後,開啟右鍵選單,選擇 Convert to Group Node,這跟上次講的群組框不同,它是把你選擇的這些方塊,合併成一個方塊。

在合併的時候你需要為這個組合取一個名字,合併後的這個方塊會跟著這個 workflow 走,未來可以透過空白處右鍵,從 add node 點開選最下面的 group nodes,workflow 然後就會出現你取名的組合。

右鍵 > add node > group node > workflow > 你製作過的組合


跟著 workflow 的意思就是,如果你有生成過圖或是保存過這個 workflow 的 JSON 檔,再次讀取的時候,你定義的組合就會在,可以被再次使用。同樣的當你把 workflow 傳給別人時,別人也可以叫出你訂製好的組合方塊。當然要在他跟你安裝了同樣的 custom nodes 的前提下,沒安裝過的功能一樣叫不出來的。

(善用 Manager 來補上缺失的 custom node)


今天這支影片看的更新改動,是去年 12 月推出的,我那時候有用 maneger 更新過一次 comfy,建議如果跟我一樣很早就更新過的人,最近可以再 git pull 一下,我錄畫面的時候做了一次,發現之前 group node 的小問題似乎已經解決,它不會再因為 f5 或是重開就失蹤了。

這可以在串聯多個同樣功能的時候,讓畫面變得更加地乾淨整齊。比方說上次講的 controlnet,還有上上次的 embeddings 等,你要把你整個 workflow 拼成一個方塊也是……可以啦。


Undo Redo

第二項也是之前要靠外掛來實現的功能:undo redo,是熟悉的 ctrl+zctrl+y。這個應該算是有在畫圖的人都會蠻熟悉的鍵位,我的人生可以沒有 ctrl+z 但我的軟體不能沒有。


Reroute & Primitive

第三項稍微比較特別一點:Reroute nodes 就是一個用來整線的小方塊,你會在很多大神分享的 workflow 裡看到,使用 reroute 可以讓連線不會因為被其他方塊或線擋住,導致你看不清楚接的甚麼玩意兒;也可以讓你在版面越擴越大的時候,不用因為增加個東西需要接入 checkpoint,得把畫面縮得超小不然拉不到線。類似於引水渠,或是延長線,不確定這樣會不會幫助理解。

raw-image


至於 Primitive nodes 則是一個可以隨著接上的點而改變定位的方塊,它支援四種定位:INT (整數)、FLOAT (浮點數)、STRING (字串)、boolean (布林值)。

整數就是不包含小數點的,完整個一個整數;浮點數就是指後面有小數點的,就算是 .0 也算有小數點;字串就是文字,像是我們寫的 prompt 就是字串;布林值也很簡單,就是「是」或「否」,之前講 embeddings 有看到過這種 true false 的開關嘛,這個就是布林值,它只有是或否,你也可以想成開或關。

這一項更新主要是告訴你,現在 primitive nodes 也可以使用 reroute 來做線路改道了。




旋轉視角模型

Stable Zero123 則是一個新的生成模型。源自一個叫做 zero 1-to-3 的研究,基於 SD1.5,使用了大量高品質的 3D 物件數據來進行訓練,它會盡可能在保持你輸入圖片的全部特徵的情況下,按照你所要求的的角度數據,來生成另一個角度的視圖。

raw-image

可以想見未來各種人物、場景的三視圖都有望可以靠這個模型來獲得,當然他這個其他角度的圖像,終究還是 AI 透過你給的平面圖像,去推測想像出來的,除非未來 AI 能夠直接讀取你腦袋裡的畫面,不然生成結果應該是不至於到一次就能跟你想像的一樣。


需要注意一下 SD 官方目前的聲明中,stable zero123 模型的基礎版本是不可商用的,另一個 c 版是可商用,但需要你持有 SD 的會員身分。

raw-image

同樣點選文章提供的範例連結,先下載模型,接著下載圖片,丟到 comfy 就可以讀取到這個 workflow。




技術支持

接下來的兩個條目,一個是關於配備差的人要如何快樂刷圖,一個是關於較新版本的 python 和 comfy 的結合。

針對硬體設備較差的朋友,comfy 現在可以支援使用 FP8 格式,你只需要挑選這兩對指令的其中一對,放在你用來啟動 comfy 的 .bat 檔,裡面的 main.py 後面,在開啟 comfy 的時候就可以調用這個格式。

raw-image

這兩對都是同樣的功能,只是用的方法不一樣,選擇你認為效果最好的就可以。

FP8 格式的論文最早在 2022 年發表,所以其實不是很新的東西。它能夠在犧牲一定精確度的情況下,大幅減少所需的記憶體消耗。如果你算圖的時候總是彈出記憶體不足的警告,可以試試看這個辦法。


我試著使用了一下語法,雖然可以正常開啟 comfy 但無法進行生成,github 上可以查到的解答是還需要更新 torch。

如果你是用正常方式安裝 comfy 的,可以使用這串指令來進行 requirements 的更新安裝。

pip install --upgrade torch torchvision torchaudio -r requirements.txt

如果你是使用免安裝包的,需要手動執行一下這個名稱的更新程式。

update_comfyui_and_python_dependency.bat

我這邊就不做這些操作了,如果大家試用後還是有遇到問題,可以上 github 去爬爬看有沒有更新的解決辦法。


另一條是官方提供了一個支援 python3.12pytorch2.3 的 comfy 獨立安裝包,這是一個不穩定的測試版,如果你是技術型 AI 玩家,可以載下來試試看。

我……我覺得我現在的環境挺好的,就不載了哈。有裝來跑的朋友可以回來留言跟我分享一下,用起來感覺怎麼樣。




專注強化模式

我們看下一條,Self Attention Guidance,這是一個安插在模型和 sampler 中間的方塊,你可以把它想成是叫 AI 更集中更專注的模式,它或許能產生更好的結果,這個你不自己試試看很難說到底有沒有幫助,但它要花費更多運算時間的這點是必然的。

空白處右鍵選單,找到 for testing,就可以叫出 Self Attention Guidance 方塊。


接下來這個 PerpNeg 跟上面的 self attention 有點類似,它的功能是讓你下達的反向提示內容能夠更準確地被 AI 接受,同樣它需要花費更多的運算時間。

要使用它你得另外叫出一個空的 prompt 方塊,不要在裡面輸入內容,然後把它和模型連到這個 perpneg,最後接入 sampler。

老樣子,對這個技術的詳細資訊感興趣的朋友,可以點進說明頁 (上面兩個功能的名稱) 連結。


我們來稍微測試一下這兩個東西,在設置不複雜的情況下會對生成結果產生多少差異。

當然我這個測試做得比較陽春,結果也僅供參考而已,還是比較推薦大家自己上手在 comfy 裡面跑跑看,反正不用額外安裝什麼,也不麻煩。

(upperbody:1.3) (1woman:1.2) This intriguing photograph captures a plush neon-lit dimensional drifter. The image is a breathtakingly detailed photograph that portrays a whimsical and fantastical world. horror ghost (glitch:0.6) nosie cube
text, watermark, buzz, nsfw




更好的基礎模型

raw-image

再來這個 Segmind Vega Model 又是一個新模型,你可以用它來取代 SDXL 的 base model,可以搭配加速 lora,segmind vega 有自己的加速 lora,也可以使用 XL 的 LCM lora 來進行加速。

那他的品質理論上是會比原本的 base model 更穩定的。





最後剩下一些小的更新項目,包含了你現在可以儲存動態 PNG 格式。

以及可以選用的兩個設定,要使用這個一樣是把指令加到你的 .bat 檔裡面。

還有可支援 GLora。

下面羅列了一些官方推薦的有趣的 custom nodes。



希望這篇文章對你有幫助,喜歡的話記得點個愛心❤️訂閱沙龍,把內容分享給你對 AI 算圖感興趣的朋友!有任何問題或是想看甚麼樣的教學,都可以在文章或影片下方留言,也歡迎跟我分享你的使用心得。



Youtube頻道[你風哥 Wind Bro Draw]上各式生成AI工具教學及介紹影片的文字版,包含使用方法與小技巧,完整的影片文案重新梳理,或是實用小筆記,還有進階使用者的理論基礎部分。工具目前包含ComfyUI、Leonardo.Ai、Picsi.Ai、Pika Labs……等,緩慢新增中。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
介紹免安裝、網頁操作的即時生成AI繪圖工具——KREA AI,從申請到使用一次看完。
今天我們來看一個最近討論度非常高的AI繪圖新技術,一個讓你可以在幾秒鐘內看到成品,不論是訓練還是生成都大大降低了資源成本的技術。※影片中有誤的地方補充在CC字幕,本篇內容也已修正。
本篇分享整理一些我自己常用的,基礎的寫prompt起手勢,記得要根據應用後的測試結果跟個人需求來調整。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
介紹免安裝、網頁操作的即時生成AI繪圖工具——KREA AI,從申請到使用一次看完。
今天我們來看一個最近討論度非常高的AI繪圖新技術,一個讓你可以在幾秒鐘內看到成品,不論是訓練還是生成都大大降低了資源成本的技術。※影片中有誤的地方補充在CC字幕,本篇內容也已修正。
本篇分享整理一些我自己常用的,基礎的寫prompt起手勢,記得要根據應用後的測試結果跟個人需求來調整。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇參與的主題活動
先前麥克買了在預算及性能方面都十分複合需求的NXTPAPER 11平板,但拿到辦公室使用後便發現因為時不時有簡報需求,主機本身不支援有線視訊輸出實在是非常不方便,因又開始尋找新歡。最終麥克選擇了算是還滿熟悉的品牌小米旗下的小米平板6,以下為麥克這一個月下來的使用心得。
從預計的十月底出貨經過重重波折,Pubu自家開發的10寸彩色閱讀器Pubook Pro終於是送到第一批集資者手中了。究竟這台閱讀器有沒有本事撼動目前的電子紙閱讀器市場?有達到集資時承諾的各項功能嗎?且讓身為首批集資者之一的麥克跟大家談談收到主機後使用數天的感想。
Steam Deck 迎來大改版,最重要的更新就是換成 OLED 螢幕。使用 OLED 螢幕帶來更好看的顏色,大小還小幅提升到 7.4 吋。關係續航力的電池也從 40 瓦小時升級到 50 瓦小時, 3A 大作都可以多玩一小時呢!這麼香的更新,怎麼不給他買下去呢 😄
先前麥克買了在預算及性能方面都十分複合需求的NXTPAPER 11平板,但拿到辦公室使用後便發現因為時不時有簡報需求,主機本身不支援有線視訊輸出實在是非常不方便,因又開始尋找新歡。最終麥克選擇了算是還滿熟悉的品牌小米旗下的小米平板6,以下為麥克這一個月下來的使用心得。
從預計的十月底出貨經過重重波折,Pubu自家開發的10寸彩色閱讀器Pubook Pro終於是送到第一批集資者手中了。究竟這台閱讀器有沒有本事撼動目前的電子紙閱讀器市場?有達到集資時承諾的各項功能嗎?且讓身為首批集資者之一的麥克跟大家談談收到主機後使用數天的感想。
Steam Deck 迎來大改版,最重要的更新就是換成 OLED 螢幕。使用 OLED 螢幕帶來更好看的顏色,大小還小幅提升到 7.4 吋。關係續航力的電池也從 40 瓦小時升級到 50 瓦小時, 3A 大作都可以多玩一小時呢!這麼香的更新,怎麼不給他買下去呢 😄
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
Thumbnail
前篇測試如何把提示詞生成的圖像細節提高,這篇要測試的工作流是把任意圖像載入後經由放大模型放大,同時測試放大後重繪看看效果如何。
Thumbnail
先前藉由加入提示詞控制畫面內容與品質後,發現圖像放大後細節感覺糊糊的,這篇就要來測試幾個增加細節的方法,測試使用的工作流是基於A1111算法的工作流,且使用固定種子。
Thumbnail
ComfyUI可以直接將WebUI(A1111算法)生成的圖像拉進介面讀取工作流與提示詞,但是會生成完成不同的圖像,為了讓圖像成果更加接近WebUI(A1111算法)生成的圖像,預設工作流中的部份Nodes需要被替換,且替換完要將一些參數改成A1111。
Thumbnail
這篇是以預設工作流為基礎,加入提示詞去控制畫面,目的是控制生成圖像的主題跟提升品質。
Thumbnail
這是為了搭建自己想要的工作流而開始的研究工作。
Thumbnail
昨天居然無故失眠,可能是普洱拿鐵害的,而且不太好喝,鐵觀音比較搭奶。清晨四點走出房間找日本旅行買的梅酒時,夜貓們都睜大眼睛看我。牠們住在這裡已經很安定的樣子了。一個地方的磁場,動物也許是最敏銳的。 * 剛搬到香港時,因為仲介隱蔽事實,和貓住進機場附近一個不准養寵物的物業。搬進去第一天就被櫃檯管理
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
Thumbnail
前篇測試如何把提示詞生成的圖像細節提高,這篇要測試的工作流是把任意圖像載入後經由放大模型放大,同時測試放大後重繪看看效果如何。
Thumbnail
先前藉由加入提示詞控制畫面內容與品質後,發現圖像放大後細節感覺糊糊的,這篇就要來測試幾個增加細節的方法,測試使用的工作流是基於A1111算法的工作流,且使用固定種子。
Thumbnail
ComfyUI可以直接將WebUI(A1111算法)生成的圖像拉進介面讀取工作流與提示詞,但是會生成完成不同的圖像,為了讓圖像成果更加接近WebUI(A1111算法)生成的圖像,預設工作流中的部份Nodes需要被替換,且替換完要將一些參數改成A1111。
Thumbnail
這篇是以預設工作流為基礎,加入提示詞去控制畫面,目的是控制生成圖像的主題跟提升品質。
Thumbnail
這是為了搭建自己想要的工作流而開始的研究工作。
Thumbnail
昨天居然無故失眠,可能是普洱拿鐵害的,而且不太好喝,鐵觀音比較搭奶。清晨四點走出房間找日本旅行買的梅酒時,夜貓們都睜大眼睛看我。牠們住在這裡已經很安定的樣子了。一個地方的磁場,動物也許是最敏銳的。 * 剛搬到香港時,因為仲介隱蔽事實,和貓住進機場附近一個不准養寵物的物業。搬進去第一天就被櫃檯管理