ComfyUI中階①Lora、Embeddings

閱讀時間約 8 分鐘

今天我們來講講關於Comfy的中階使用,包含怎麼套用lora、調用embeddings、使用contorlnet干涉生成等附加控制手段。


甚麼是ComfyUI?

Comfyui是一個比知名的SDwebui A1111還要更輕量的使用介面,它也是目前可以說對新技術、新插件支援性最好的一個介面,所以如果你非常喜歡使用AI進行圖像生成,我會強烈推薦你試試看。

還沒安裝過comfy的朋友可以參考一下上次做的安裝教學跟基本操作,都搞定了再過來學點新東西吧。

每個功能用法我都會分開錄製實操,詳情可以參考影片,這樣錄畫面看起來會比較簡單明瞭,但實用上你當然可以根據你的需求,把這些功能都串在一起。


這是ComfyUI教學的第二階段,這個階段一共會分成三部影片、三篇文字版,我會盡量把章節分段都標示清楚。


那麼我們開始吧。💪




套用LoRA

第一個我們來介紹套用LoRA的方塊,老樣子我們把這個搜尋框叫出來,就是空白處點兩下哈。


順便說一下,你點開搜尋框的時候滑鼠不要亂動,游標超過這個範圍的話搜尋框會自己消失。或者是,你也可以空白處點右鍵,選擇add Node,然後按照分類來尋找你要新增的方塊。

搜尋框也是可以選分類的,就看你覺得哪種方式好用用哪個就行。


叫出LoRA方塊

raw-image

這邊直接輸入lora,我一般就用第一個,它叫做LoraLoader。


raw-image

打開可以看到方塊左右兩邊都分別有model跟clip的小點,聰明的你應該已經猜到它要放在哪個位置了吧?

raw-image

上次講到過整個降噪的處理在sampler裡面,checkpoint(也就是大模型)作為資料庫將會輸入到Ksampler,那麼身為小模型的lora要能夠改變大模型原有的圖文資料,它的位置就必須要擺在大模型進入sampler之前。

你可以先把checkpoint loader原本連好的model跟clip線都拔掉,也可以先不拔,後面它會自動被新拉的線彈掉。


連線

首先,先把模型接到lora,然後經過了lora,把這條線再接進sampler。

接著把clip接到lora,然後跟單接模型的時候一樣,右邊的clip線要分別拉到positive prompt(正向提示)跟negative prompt(反向提示)的方塊。

這樣就搞定了,接入多個lora的方式是一樣的,一個接著一個串起來就行。

raw-image


應用注意

跟平常我們使用lora時的注意事項也一樣,如果你要同時調用多個lora,就一定要注意到overfitting的問題,也就是權重的調節。

在comfy你除了可以調整lora model的權重,還可以調整lora clip的權重,兩種會有不同的影響效果。

這個需要靠你自己,根據你手上的lora,和你想要的生成結果來逐步嘗試,我沒有辦法直接告訴你怎麼樣調整最好。

raw-image

唯一能說的只有,lora的正權重目的在於加強lora影響大模型的程度,也可以說是覆蓋、替換大模型訓練內容的程度;而lora的負權重則作用在剪除大模型中跟lora訓練內容有重疊的部分。

比方說像是anime lineart這個lora,如果你把權重調整為-1,它會變成是剪除掉線搞的功能。


顯示預覽圖

目前comfy本身無法直接像sdwebui(a1111)那樣顯示出lora啊、embeddings啊這些東西的預覽圖,對於下載了非常多lora的朋友可能會用起來比較困擾,如果你真的有需要,可以去安裝一個強大的custom node,在安裝這邊搜尋scripts,你就可以找到一個叫做comfyui-custom-scripts的項目,它包含了非常非常多的介面細節改良,使用方法可以參考它的github頁面,作者提供了非常詳盡的說明。你也可以直接從manager的custom nodes列表上,點一下這個功能的名稱,每個custom node的名稱都會直接跳轉它們的github頁面。

raw-image

不要使用安裝完後彈出的RESTART按鈕來重開comfy,建議從執行窗口那邊手動關閉(直接關閉或ctrl+c)後完整重開。


如果你跟我一樣沒有太多的模型,也可以簡單點搞,把模型名稱改成自己看得懂的好記的就行了,直接去改這些文件名是不會影響到使用的。




套用Embeddings

下一個要看的就是剛剛提了一嘴的embeddings,比較知名的像是easy negativebad hands都蠻推薦各位下載的,如果你還沒有下載這些,可以去載一下,好用,也可以直接在civitai搜尋到更多的embeddings。


comfy預設的embeddings使用方法比較陽春,就是全程.手key,格式是這樣的:

(embeddings:filename:strength)
e.g. (embeddings:easynegative:1)

想插幾個就寫幾串。

如果你背不下來embeddings的檔案名稱,可以直接打開檔案位置用複製的,或者是,安裝一個可以點選embeddings的custom node。


叫出Embeddings方塊

raw-image

在安裝這裡輸入embeddings,找到這個Embedding Picker點安裝,再次提醒,不要使用安裝完後彈出的restart按鈕來重開comfy,建議從執行窗口那邊整個關掉重開一次。

重開完成後,在你的negative prompt方塊上按一下右鍵,選擇第一個prepend embedding picker,它就會自動幫你連結好了,啊你的反向提示輸入框會被它自動改到這個picker的下面。


點一下原本prompt的方塊左上角,方塊標題旁邊的這個灰色小點,可以把它收起來,這樣你的畫面上就不會那麼多框框。


多個連線

如果要使用到多個embeddings,可以從搜尋框再叫一個embedding picker,或是按著alt然後拖一下畫面上已有的這個方塊,就可以複製一個出來。

接著,為了要能夠把它們串起來,你需要在這個新增的embeddings方塊上按右鍵,選擇convert text to input,然後把它串在第一個embeddigns跟你原本那個text encode中間。

需要幾個就串幾個。反prompt統一在第一個下面的框輸入就可以了。


插入位置

方塊裡面的第三個選項append是決定你的embeddings會被安插在反prompt的最前面還是最後面,預設的false是放在最前面,點一下變成true的話就會是在最後面,這個就,不能說都沒有差,但我覺得差別不大,愛放哪放哪唄。🤣




實用小技巧

最後是comfy的小技巧分享時間。小技巧屬於學或不學都沒關係的部分,但是知道了可以讓使用體驗更舒服一點。w


當你的workflow體積開始逐漸擴大,多少會有種畫面很凌亂的感覺。這時候你可以透過群組 Group來把每個階段性或功能性的區塊框起來,讓自己更能一目了然,也讓畫面更好整理。


建立群組

raw-image

按住ctrl加滑鼠左鍵拖曳,就可以直接把你想要選中的方塊一次框起來,當然也可以按住shift一個一個點。

接著在空白處右鍵,選擇add group for selected nodes,它就會自動根據你選中的這些方塊去建立一個群組框,所有接觸到這個底框的方塊都會被視為同一群組,拖著那個群組的標題就能一次拖動群組中的方塊了。

另外一個方法是先在空白處右鍵,選擇add group,叫個框出來,然後把你想要放在一起的方塊一個個拖進去。


群組可以更改顏色、更改標題,方便你分類清楚。

這在建立大型workflow的時候會相當地有幫助,如果你開始下載一些大神們分享的workflow時,應該也會發現,大部分的神人都會把自己的workflow排得井井有條,把基本設置啊、controlnet、upscale等等的工作區塊都分開來,也讓下載這些workflow的我們可以一眼就看出哪個部分是哪些作用。


鎖定/解除鎖定

另一個小技巧是當你在方塊上右鍵時,可以找到的一個選項📌Pin,它會把方塊變為鎖定狀態,你就不會點到它的時候不小心去拖動到它的位置,解除的方法也是再點一下pin而已,很簡單好用。

這個不會影響群組的整體拖動,用起來還是很舒服的。


對齊

啊順便再說一個,comfy它其實是有對齊功能的,當你選取了兩個以上的方塊時,右鍵可以看到一個選項叫align selected to,這個就是對齊,除了不能置中,對齊上下左右都可以。



●書接下回

希望這篇教學對你有幫助,下一篇我們會講controlnet,感興趣的朋友可以追蹤一下這個專題和Youtube頻道,更新就可以收到通知喔。

有任何問題或我有缺漏的地方歡迎在文章或影片下方留言,也可以跟我分享你的comfy使用心得!


最後祝大家新年快樂!2024年來啦!

Youtube頻道[你風哥 Wind Bro Draw]上各式生成AI工具教學及介紹影片的文字版,包含使用方法與小技巧,完整的影片文案重新梳理,或是實用小筆記,還有進階使用者的理論基礎部分。工具目前包含ComfyUI、Leonardo.Ai、Picsi.Ai、Pika Labs……等,緩慢新增中。
留言0
查看全部
發表第一個留言支持創作者!