ComfyUI研究 - IPAdapter Plus v2

前言

2024/03/23 IPAdapter Plus 的節點作者cubiq對節點進行了一次更新，我在當天是在X上看到這個消息，分享訊息的人是要警告使用者不要急著更新，因為cubiq進行的是一次破壞性的更新，意謂著舊有的工作流都將無法使用。

https://github.com/cubiq/ComfyUI_IPAdapter_plus

先說結果，我最終將兩套ComfyUI都更新為最新版的節點組，因為新版節點容易報錯的原因只是模型的命名路徑問題，雖然舊有的工作流需要換成新的節點才可以恢復運作，但是新舊節點的使用方法差異不大，所以在替換上沒有太大難度。

更新內容

cubiq這次更新的最主要內容是簡化並自動化載入模型流程，並提高效能。

根據節點頁面的說明，現在只要在工作流中載入一次IPAdapter模型即可供給工作流中所有節點使用，且載入模型改採選單方式，只要選擇想要的模式，節點就會自動判讀選用的大模型版本(SD1.5或SDXL)載入對應的IPAdapter模型。

而更新完常見的報錯原因是缺少模型，如果想要完整使用IPAdapter的功能，只要在節點網頁下載"所有"模型並按照網頁說明命名放到正確的資料夾中即可。

目前我在擁有所有模型後，跟著作者的教學影片一步步搭建工作流，皆能順利運行。

相信應該大多數使用者都可以安心使用最新的節點。

另外更新前也要更新ComfyUI，透過Manager可以一鍵更新，沒有任何難度。

工作流

基本使用

和舊版IPAdapter一樣，節點需要的是輸入基底模型、輸入IPAdapter模型、輸入影像，輸出則是只是model一個節點，可以簡單的理解這個流程就是將輸入的影像資訊加入到基底模型裡，但權重太高的話，生成的圖像與會受到輸入圖像的影響太大，容易生成過度相似的圖像。

下圖將IPAdapter新版節點獨立拉出來看。

IPAdapter Unified Loader這個節點會自動判讀基底模型版本為SD1.5或是SDXL，並自動載入對應的IPA模型跟clip_vision模型，

在節點說明頁面中，有說明使用這個節點應下載的模型及命名。

其中clip_vision模型如果有下載舊版的只要重新命名就可以使用。

• SD1.5版本 > CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors
• SDXL版本 > CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors

串接使用

與舊版相同，新版的一樣可以串接使用，串接的方式沒有太大限制。

下圖是串接兩個IPAdapter Advanced輸入兩張圖片混合生成的結果。

下圖串接了不同強度的IPAdapter模型，也可以順利執行。

輸入兩個影像

下圖是輸入兩個參考影像的工作流，產生的效果和串接不同IPAdapter類似。

只要調整combine_embeds的模式，就可以混合出不同效果。

模式有concat、add、subtract、average、norm average五種。

使用subtract模式會出現image1-image2的效果。

輸入多個影像

下圖是輸入三個參考影像的工作流，只要使用Batch Images就可以輸入更多影像。

但是輸入影像過多就會看不太出來混合了那些元素。

輸入資料夾

搭配Load Image Batch From Dir (Inspire)節點，可以省去使用一堆Batch Images的麻煩。

輸入負面影像

新版的節點允許輸入影像做為負面圖片提示詞，如下圖。

透過加入負面圖片提示詞可以省去輸入負向文字提示詞的時間，上圖示範的是輸入高畫質圖片做為負面圖片提示詞讓生成的圖片更接近平面插畫的感覺。

如果輸入的是一張低畫質、模糊不清的圖片，則可提高生成圖片的品質。

輸入噪點圖像

作者很貼心的提供了IPAdapter Noise節點，可以將圖像加入噪點與扭曲模糊，作為負面圖片提示詞使用，可以很好的增加生成圖像品質。

小結

IPAdapter新版本節點在使用上比較舊節點方便很多，少了很多手動選用模型的步驟，而且在下載完新的模型只要丟進對應的資料夾就可以直接使用，不用關閉ComfyUI再重新開啟。

IPAdapter還可以搭配Controlnet、AnimateDiff等其他功能使用，另外還有Faceid供換臉需求使用。

為了不讓本篇篇幅過長，先介紹到這邊為止。