Comfy 官方應用更新詳解

2024/02/06閱讀時間約 10 分鐘

我們今天來詳細看一下 comfy 官方在 12 月 19 日發布的更新公告,如果看英文頭會裂開的朋友可以開著頁面翻譯來參考。

在開始前記得先把你的 comfy 更新並重開,才能邊看邊嘗試這些更新內容。




一步到位模型

首先是 SDXL turbo 的支援,點一下文章中提供的範例頁面連結,然後下載裡面的範例圖片,把圖丟進 comfy 就可以直接得到 workflow。官方提供了 XLturbo 的專用調度器方塊,你需要做的除了下載這張圖片來取得 workflow,還需要下載 XLturbo 模型本身。


如果你的電腦跑不動 XLturbo 的話,官方也有提供基於 SD2.1 提煉出的 SD turbo


turbo 的特色是目前唯一的一步到位生成,比 LCM 還要快,並且是基於 XL 來提取的,所以基礎能處理的畫布大小就在 1024,雖然 LCM 也是有做 XL 版啦,不過就官方自己提供的測試數據對比下來,確實是 turbo 的分數更高。




前端改進

再來是幾個實用的操作更新。

Group nodes

第一項是之前要另外安裝 custom node 才能實現的功能:合併方塊

同時選取兩個以上的方塊後,開啟右鍵選單,選擇 Convert to Group Node,這跟上次講的群組框不同,它是把你選擇的這些方塊,合併成一個方塊。

在合併的時候你需要為這個組合取一個名字,合併後的這個方塊會跟著這個 workflow 走,未來可以透過空白處右鍵,從 add node 點開選最下面的 group nodes,workflow 然後就會出現你取名的組合。

右鍵 > add node > group node > workflow > 你製作過的組合


跟著 workflow 的意思就是,如果你有生成過圖或是保存過這個 workflow 的 JSON 檔,再次讀取的時候,你定義的組合就會在,可以被再次使用。同樣的當你把 workflow 傳給別人時,別人也可以叫出你訂製好的組合方塊。當然要在他跟你安裝了同樣的 custom nodes 的前提下,沒安裝過的功能一樣叫不出來的。

(善用 Manager 來補上缺失的 custom node)


今天這支影片看的更新改動,是去年 12 月推出的,我那時候有用 maneger 更新過一次 comfy,建議如果跟我一樣很早就更新過的人,最近可以再 git pull 一下,我錄畫面的時候做了一次,發現之前 group node 的小問題似乎已經解決,它不會再因為 f5 或是重開就失蹤了。

這可以在串聯多個同樣功能的時候,讓畫面變得更加地乾淨整齊。比方說上次講的 controlnet,還有上上次的 embeddings 等,你要把你整個 workflow 拼成一個方塊也是……可以啦。


Undo Redo

第二項也是之前要靠外掛來實現的功能:undo redo,是熟悉的 ctrl+zctrl+y。這個應該算是有在畫圖的人都會蠻熟悉的鍵位,我的人生可以沒有 ctrl+z 但我的軟體不能沒有。


Reroute & Primitive

第三項稍微比較特別一點:Reroute nodes 就是一個用來整線的小方塊,你會在很多大神分享的 workflow 裡看到,使用 reroute 可以讓連線不會因為被其他方塊或線擋住,導致你看不清楚接的甚麼玩意兒;也可以讓你在版面越擴越大的時候,不用因為增加個東西需要接入 checkpoint,得把畫面縮得超小不然拉不到線。類似於引水渠,或是延長線,不確定這樣會不會幫助理解。

raw-image


至於 Primitive nodes 則是一個可以隨著接上的點而改變定位的方塊,它支援四種定位:INT (整數)、FLOAT (浮點數)、STRING (字串)、boolean (布林值)。

整數就是不包含小數點的,完整個一個整數;浮點數就是指後面有小數點的,就算是 .0 也算有小數點;字串就是文字,像是我們寫的 prompt 就是字串;布林值也很簡單,就是「是」或「否」,之前講 embeddings 有看到過這種 true false 的開關嘛,這個就是布林值,它只有是或否,你也可以想成開或關。

這一項更新主要是告訴你,現在 primitive nodes 也可以使用 reroute 來做線路改道了。




旋轉視角模型

Stable Zero123 則是一個新的生成模型。源自一個叫做 zero 1-to-3 的研究,基於 SD1.5,使用了大量高品質的 3D 物件數據來進行訓練,它會盡可能在保持你輸入圖片的全部特徵的情況下,按照你所要求的的角度數據,來生成另一個角度的視圖。

raw-image

可以想見未來各種人物、場景的三視圖都有望可以靠這個模型來獲得,當然他這個其他角度的圖像,終究還是 AI 透過你給的平面圖像,去推測想像出來的,除非未來 AI 能夠直接讀取你腦袋裡的畫面,不然生成結果應該是不至於到一次就能跟你想像的一樣。


需要注意一下 SD 官方目前的聲明中,stable zero123 模型的基礎版本是不可商用的,另一個 c 版是可商用,但需要你持有 SD 的會員身分。

raw-image

同樣點選文章提供的範例連結,先下載模型,接著下載圖片,丟到 comfy 就可以讀取到這個 workflow。




技術支持

接下來的兩個條目,一個是關於配備差的人要如何快樂刷圖,一個是關於較新版本的 python 和 comfy 的結合。

針對硬體設備較差的朋友,comfy 現在可以支援使用 FP8 格式,你只需要挑選這兩對指令的其中一對,放在你用來啟動 comfy 的 .bat 檔,裡面的 main.py 後面,在開啟 comfy 的時候就可以調用這個格式。

raw-image

這兩對都是同樣的功能,只是用的方法不一樣,選擇你認為效果最好的就可以。

FP8 格式的論文最早在 2022 年發表,所以其實不是很新的東西。它能夠在犧牲一定精確度的情況下,大幅減少所需的記憶體消耗。如果你算圖的時候總是彈出記憶體不足的警告,可以試試看這個辦法。


我試著使用了一下語法,雖然可以正常開啟 comfy 但無法進行生成,github 上可以查到的解答是還需要更新 torch。

如果你是用正常方式安裝 comfy 的,可以使用這串指令來進行 requirements 的更新安裝。

pip install --upgrade torch torchvision torchaudio -r requirements.txt

如果你是使用免安裝包的,需要手動執行一下這個名稱的更新程式。

update_comfyui_and_python_dependency.bat

我這邊就不做這些操作了,如果大家試用後還是有遇到問題,可以上 github 去爬爬看有沒有更新的解決辦法。


另一條是官方提供了一個支援 python3.12pytorch2.3 的 comfy 獨立安裝包,這是一個不穩定的測試版,如果你是技術型 AI 玩家,可以載下來試試看。

我……我覺得我現在的環境挺好的,就不載了哈。有裝來跑的朋友可以回來留言跟我分享一下,用起來感覺怎麼樣。




專注強化模式

我們看下一條,Self Attention Guidance,這是一個安插在模型和 sampler 中間的方塊,你可以把它想成是叫 AI 更集中更專注的模式,它或許能產生更好的結果,這個你不自己試試看很難說到底有沒有幫助,但它要花費更多運算時間的這點是必然的。

空白處右鍵選單,找到 for testing,就可以叫出 Self Attention Guidance 方塊。


接下來這個 PerpNeg 跟上面的 self attention 有點類似,它的功能是讓你下達的反向提示內容能夠更準確地被 AI 接受,同樣它需要花費更多的運算時間。

要使用它你得另外叫出一個空的 prompt 方塊,不要在裡面輸入內容,然後把它和模型連到這個 perpneg,最後接入 sampler。

老樣子,對這個技術的詳細資訊感興趣的朋友,可以點進說明頁 (上面兩個功能的名稱) 連結。


我們來稍微測試一下這兩個東西,在設置不複雜的情況下會對生成結果產生多少差異。

當然我這個測試做得比較陽春,結果也僅供參考而已,還是比較推薦大家自己上手在 comfy 裡面跑跑看,反正不用額外安裝什麼,也不麻煩。

(upperbody:1.3) (1woman:1.2) This intriguing photograph captures a plush neon-lit dimensional drifter. The image is a breathtakingly detailed photograph that portrays a whimsical and fantastical world. horror ghost (glitch:0.6) nosie cube
text, watermark, buzz, nsfw




更好的基礎模型

raw-image

再來這個 Segmind Vega Model 又是一個新模型,你可以用它來取代 SDXL 的 base model,可以搭配加速 lora,segmind vega 有自己的加速 lora,也可以使用 XL 的 LCM lora 來進行加速。

那他的品質理論上是會比原本的 base model 更穩定的。





最後剩下一些小的更新項目,包含了你現在可以儲存動態 PNG 格式。

以及可以選用的兩個設定,要使用這個一樣是把指令加到你的 .bat 檔裡面。

還有可支援 GLora。

下面羅列了一些官方推薦的有趣的 custom nodes。



希望這篇文章對你有幫助,喜歡的話記得點個愛心❤️訂閱沙龍,把內容分享給你對 AI 算圖感興趣的朋友!有任何問題或是想看甚麼樣的教學,都可以在文章或影片下方留言,也歡迎跟我分享你的使用心得。



Youtube頻道[你風哥 Wind Bro Draw]上各式生成AI工具教學及介紹影片的文字版,包含使用方法與小技巧,完整的影片文案重新梳理,或是實用小筆記,還有進階使用者的理論基礎部分。工具目前包含ComfyUI、Leonardo.Ai、Picsi.Ai、Pika Labs……等,緩慢新增中。
留言0
查看全部
發表第一個留言支持創作者!