ComfyUI高階➀IP-Adapter安裝

之前我們把初級入門和中級教學都講完了嘛，接下來，就要邁向高級教學的系列。
第一期要講到的就是效果非常顯著，使用起來又非常簡單的 IP-Adapter，圖像提示適配器。

這是第一章節，今天會先從安裝開始講起，它的前置作業稍微有一點麻煩，要安裝下載的東西有一點點多，我盡量涵蓋了所有的安裝方式。

那在正式開始前，我想先感謝一位來自 B 站的朋友 究極廣告哥 在上次 SORA 那支影片的彈幕中提到了關於 token drop，我的解釋有誤的部分。
我後來又回去研究了一下，確實，不能說是隨機，但要說是 drop 掉重複性高的也不算很準確。應該說它是丟掉 AI 透過算法認定為權重低的，對於學習特徵沒有影響的部分。
Anyway，非常感謝留言指正！
這部分如果有人感興趣的話我們下次可以來聊聊，今天就不佔用太多時間。

如果你喜歡我的內容可以在 YT 幫我點讚訂閱開啟小鈴鐺，或是加入我的文章沙龍！
你的支持就是我的更新動力。🫶

更新 ComfyUI

如果你這個禮拜沒有更新過 ComfyUI，請先更新你的 ComfyUI。
直接下載 portable standalone 也就是打包版本的朋友，有兩種方式可以更新：

• 一個是直接去重新下載官方最新版本的打包檔；
• 一個是把你的打包版本資料夾打開，點一下 update 資料夾，然後點這個 update_comfyui.bat 讓它跑完。
  🌟我沒有把打包檔解壓縮，所以畫面不太一樣，
  　 你對照著你解壓縮後的位置去開是差不多的。

如果是使用 git clone 下載安裝的朋友，去你的 comfyui 資料夾，在地址列打 cmd 叫出命令提示字元，然後輸入 git pull 等待它跑完就可以了。

git pull​

當然你也可以使用 Manager 的 update 按鈕來更新，但是這個目前有機率會更新不完全，所以還是比較建議使用上述的方式來更新。

關於這次 comfy 的本體更新，還有一件令人遺憾的事情。
之前我們介紹過的相當好用的 SeargeSDXL 系列擴展，在這次的更新之後暫時是無法使用的，雖然有國外的熱心大神臨時寫了修復文件，但是並不是一個非常完整的修復，終究我們需要等待原作者 Searge 大哥回來修復擴展功能。
但是這位大哥已經超過半年 (上次更新是2023年11月) 沒更新過擴展了，所以很難說他甚麼時候會修好。
不想使用修復文件的朋友，也可以選擇先把這個擴展移除，使用一般的 Ksampler 來進行 SDXL 系列模型的生成。

甚麼是IPA

IP-Adapter，全名叫做 Image Prompt Adapter，是一種專為預訓練的 t2i 模型設計的輕量型適配器。

它的主要功能是為這些模型增加單獨的圖像提示，其中最關鍵的一個特性是它的 分離交叉注意力機制。

在這個算法架構裡，文本特徵和圖像特徵被分開處理，然後通過交叉注意力機制來結合這些特徵。
這種分離的方式使得模型可以更有效地，分別從文本和圖像提示中得到被提取的特徵，讓生成結果可以更加準確符合你的要求。
除此之外，它還具有很高的 泛用性，能夠在不同的大模型上運作，可以搭配 ControlNet 和 LoRA，還可以跟其他的功能節點進行結合。

某種程度上你可以將它視為 AI 的眼睛。

🎉 GoingBus 串流媒體合租平台 🎉

省錢看片！和世界各地的用戶一起分攤訂閱費，用最低價格享受 Netflix、Disney+ 等熱門串流服務，還有 GPT-4！立即訂閱 GoingBus，輕鬆合租，一起省錢吧！

✨首購輸入優惠碼：windbro，再享九折優惠！✨

GoingBus首頁：https://goingbus.com?s=Huk4FaoU

如何安裝

在 comfy 的擴展 custom node 裡面，有一個叫做 ComfyUI_IPAdapter_plus 的擴展，你可以在 manager 搜尋到它，下載的時候，順便點一下擴展的名稱就可以連結到它的 github 頁面。
下載完後記得，老樣子，不要點這個 restart，把 comfy 完整關閉重啟。

關閉之後先不要急著打開，接下來我們還有一段漫長的下載之路。

回到 IPAdapter plus 的 github 頁面，往下拉到 Installation 的部分，這～些～全部都要下載。
除了寫著 deprecated (棄用) 的這幾個。

我會弄一個模型打包的網址，但你還是會需要自己手動把它們分別放好，該放哪裡可以參考這個 installation 寫的路徑：

兩個 CLIP 放在 models 的 clip_vision 資料夾；
所有 ipadapter 模型放在 models 的 ipadapter 資料夾，如果你沒有這個名稱的資料夾就手動新增一個；
最後是 faceID 的模型，同樣放在 ipadapter 資料夾裡，
然後 faceID 的 lora 放到你的 lora 資料夾，
如果你平常丟在 A1111(SDwebui) 的資料夾並且有導過路徑的話，就放去 A1111 那邊。

把這些檔案都放好之後，還有最後一樣東西—— insightface。

如果你之前使用過 Roop，理論上不需要重新安裝，但如果你的 ipadapter 跑不成功，或者你怕有萬一就是想要重裝一次，那我們就先從解除安裝的方式講起。

解除安裝 Insightface

打開 cmd 輸入以下指令，這樣就好了。

pip uninstall insightface

盡量避免手動刪除資料夾，用指令會乾淨一點。

安裝 Visual Studio

接下來，之前已經安裝過 Visual Studio 的朋友可以跳過這一段，沒安裝過的朋友可以把這個連結點開。因為之前有教過一次了，所以這次會講快一點吼。

點開選擇 cummunity 版本，載完打開，點繼續，等它跑完，在這個選擇安裝項目的畫面，只需要勾選 python 開發、C++ 桌面、visual studio 擴充這三樣，右邊不動，然後點安裝，跑完就是安裝完畢，可以把這個視窗關掉。

安裝 Insightface

接下來有兩個方法可以安裝 insightface。

第一個是直接在 cmd 輸入下方指令，等它跑完就好。

pip install insightface==0.7.3

第二個是使用 wheel 檔案，這是一種 python 安裝包，它總共有四種版本，對應四種不同的 python 版本環境。

所以，我們要先來確定你的 python 是哪個版本。
Comfy 屬於一般安裝的朋友，在 cmd 打上 python -V 注意這個 V 大寫哈，就會顯示了。

python -V

我沒測試過使用打包版本的話這個指令行不行得通，但打包版本也可以去 python_embeded 這個資料夾，裡面的 python.exe 點開就可以找到。

確定了你的版本之後，選擇對應版本的 whl 檔。

舉例：CP310 = python 3.10

因為它是一個你只會用到一次的安裝包，所以其實放哪裡都可以，放下載或桌面都可以，大部分教學推薦是放在你的 comfy 打包版本的 python_embeded 資料夾，指令會相對簡單一點點。

載好了需要的版本之後，我們就可以開始進行安裝。

在這邊打開 cmd，輸入以下指令：

python.exe -m pip install "完整檔案路徑，或完整檔案名稱" onnxruntime

如果你把 whl 放在 python_embeded 以外的地方，對 whl 檔案點右鍵，選複製路徑再貼過來 cmd 就可以；
丟在 python_embeded 的朋友，直接複製完整檔案名貼上。等它跑完就安裝好了。

📢onnxruntime 可加可不加。

恭喜各位，安裝完成。

理論上現在你已經有所有需要的東西，回到 comfy 後，IPAdapter 應該要是可以正常使用的。
影片裡有我平常用來跑的流程，如果你看得懂，那麼你可以先試著玩看看；如果沒辦法的話，下一章節我們就會來看怎麼拉 workflow。

舒服小技巧

最後順便說一個最近蠻多人問的問題，你們有時候會在我畫面右上角看到那個終端在跑嘛，這個是我用 OBS 錄影的時候，把終端的畫面疊上去的，並不是在 comfy 裡面可以實現的功能。

但是，comfy 其實有顯示終端的方塊，如果你真的有需要，可以在空白處點兩下，打開搜尋框，輸入 ter 找到 Terminal Log (Manager)，然後要記得把 mode 轉成 Logging，接下來它就會顯示出終端的內容了。

好的希望這篇教學有幫助到你，有任何問題都可以在影片或文章的下方留言，也歡迎跟我討論你對 IPAdapter 的使用心得，把影片分享給你對 AI 算圖感興趣的朋友！

感謝各位收看，掰掰。

ComfyUI GitHub：https://github.com/comfyanonymous/ComfyUI
IPAdapter plus GitHub：https://github.com/cubiq/ComfyUI_IPAdapter_plus
Visual Studio：https://visualstudio.microsoft.com/zh-hant/downloads/
whl 安裝包：https://github.com/Gourieff/Assets/tree/main/Insightface

模型打包：https://mega.nz/folder/DbpCgaxD#pGun2J2wcSvvd5Cj4SffXg