ComfyUI高階➀IP-Adapter安裝

閱讀時間約 9 分鐘


之前我們把初級入門和中級教學都講完了嘛,接下來,就要邁向高級教學的系列。
第一期要講到的就是效果非常顯著,使用起來又非常簡單的 IP-Adapter,圖像提示適配器。

這是第一章節,今天會先從安裝開始講起,它的前置作業稍微有一點麻煩,要安裝下載的東西有一點點多,我盡量涵蓋了所有的安裝方式。


那在正式開始前,我想先感謝一位來自 B 站的朋友 究極廣告哥 在上次 SORA 那支影片的彈幕中提到了關於 token drop,我的解釋有誤的部分。
我後來又回去研究了一下,確實,不能說是隨機,但要說是 drop 掉重複性高的也不算很準確。應該說它是丟掉 AI 透過算法認定為權重低的,對於學習特徵沒有影響的部分。
Anyway,非常感謝留言指正!
這部分如果有人感興趣的話我們下次可以來聊聊,今天就不佔用太多時間。


如果你喜歡我的內容可以在 YT 幫我點讚訂閱開啟小鈴鐺,或是加入我的文章沙龍!
你的支持就是我的更新動力。🫶



更新 ComfyUI

如果你這個禮拜沒有更新過 ComfyUI,請先更新你的 ComfyUI。
直接下載 portable standalone 也就是打包版本的朋友,有兩種方式可以更新:

  • 一個是直接去重新下載官方最新版本的打包檔;
  • 一個是把你的打包版本資料夾打開,點一下 update 資料夾,然後點這個 update_comfyui.bat 讓它跑完。
    🌟我沒有把打包檔解壓縮,所以畫面不太一樣,
      你對照著你解壓縮後的位置去開是差不多的。

如果是使用 git clone 下載安裝的朋友,去你的 comfyui 資料夾,在地址列打 cmd 叫出命令提示字元,然後輸入 git pull 等待它跑完就可以了。

git pull​

當然你也可以使用 Manager 的 update 按鈕來更新,但是這個目前有機率會更新不完全,所以還是比較建議使用上述的方式來更新。


關於這次 comfy 的本體更新,還有一件令人遺憾的事情。
之前我們介紹過的相當好用的 SeargeSDXL 系列擴展,在這次的更新之後暫時是無法使用的,雖然有國外的熱心大神臨時寫了修復文件,但是並不是一個非常完整的修復,終究我們需要等待原作者 Searge 大哥回來修復擴展功能。
但是這位大哥已經超過半年 (上次更新是2023年11月) 沒更新過擴展了,所以很難說他甚麼時候會修好。
不想使用修復文件的朋友,也可以選擇先把這個擴展移除,使用一般的 Ksampler 來進行 SDXL 系列模型的生成。




甚麼是IPA

IP-Adapter,全名叫做 Image Prompt Adapter,是一種專為預訓練的 t2i 模型設計的輕量型適配器。

它的主要功能是為這些模型增加單獨的圖像提示,其中最關鍵的一個特性是它的 分離交叉注意力機制

raw-image

在這個算法架構裡,文本特徵和圖像特徵被分開處理,然後通過交叉注意力機制來結合這些特徵。
這種分離的方式使得模型可以更有效地,分別從文本和圖像提示中得到被提取的特徵,讓生成結果可以更加準確符合你的要求。
除此之外,它還具有很高的 泛用性,能夠在不同的大模型上運作,可以搭配 ControlNet 和 LoRA,還可以跟其他的功能節點進行結合。

某種程度上你可以將它視為 AI 的眼睛。




🎉 GoingBus 串流媒體合租平台 🎉

省錢看片!和世界各地的用戶一起分攤訂閱費,用最低價格享受 Netflix、Disney+ 等熱門串流服務,還有 GPT-4!立即訂閱 GoingBus,輕鬆合租,一起省錢吧!

✨首購輸入優惠碼:windbro,再享九折優惠!✨

GoingBus首頁:https://goingbus.com?s=Huk4FaoU




如何安裝

raw-image

在 comfy 的擴展 custom node 裡面,有一個叫做 ComfyUI_IPAdapter_plus 的擴展,你可以在 manager 搜尋到它,下載的時候,順便點一下擴展的名稱就可以連結到它的 github 頁面
下載完後記得,老樣子,不要點這個 restart,把 comfy 完整關閉重啟。

關閉之後先不要急著打開,接下來我們還有一段漫長的下載之路。


回到 IPAdapter plus 的 github 頁面,往下拉到 Installation 的部分,這~些~全部都要下載。
除了寫著 deprecated (棄用) 的這幾個。

我會弄一個模型打包的網址,但你還是會需要自己手動把它們分別放好,該放哪裡可以參考這個 installation 寫的路徑:

兩個 CLIP 放在 models 的 clip_vision 資料夾;
所有 ipadapter 模型放在 models 的 ipadapter 資料夾,如果你沒有這個名稱的資料夾就手動新增一個;
最後是 faceID 的模型,同樣放在 ipadapter 資料夾裡,
然後 faceID 的 lora 放到你的 lora 資料夾,
如果你平常丟在 A1111(SDwebui) 的資料夾並且有導過路徑的話,就放去 A1111 那邊。


把這些檔案都放好之後,還有最後一樣東西—— insightface。

raw-image

如果你之前使用過 Roop,理論上不需要重新安裝,但如果你的 ipadapter 跑不成功,或者你怕有萬一就是想要重裝一次,那我們就先從解除安裝的方式講起。


解除安裝 Insightface

打開 cmd 輸入以下指令,這樣就好了。

pip uninstall insightface

盡量避免手動刪除資料夾,用指令會乾淨一點。


安裝 Visual Studio

raw-image

接下來,之前已經安裝過 Visual Studio 的朋友可以跳過這一段,沒安裝過的朋友可以把這個連結點開。因為之前有教過一次了,所以這次會講快一點吼。

點開選擇 cummunity 版本,載完打開,點繼續,等它跑完,在這個選擇安裝項目的畫面,只需要勾選 python 開發、C++ 桌面、visual studio 擴充這三樣,右邊不動,然後點安裝,跑完就是安裝完畢,可以把這個視窗關掉。


安裝 Insightface

接下來有兩個方法可以安裝 insightface。

第一個是直接在 cmd 輸入下方指令,等它跑完就好。

pip install insightface==0.7.3

第二個是使用 wheel 檔案,這是一種 python 安裝包,它總共有四種版本,對應四種不同的 python 版本環境。

所以,我們要先來確定你的 python 是哪個版本。
Comfy 屬於一般安裝的朋友,在 cmd 打上 python -V 注意這個 V 大寫哈,就會顯示了。

python -V

我沒測試過使用打包版本的話這個指令行不行得通,但打包版本也可以去 python_embeded 這個資料夾,裡面的 python.exe 點開就可以找到。

確定了你的版本之後,選擇對應版本的 whl 檔。

舉例:CP310 = python 3.10

舉例:CP310 = python 3.10

因為它是一個你只會用到一次的安裝包,所以其實放哪裡都可以,放下載或桌面都可以,大部分教學推薦是放在你的 comfy 打包版本的 python_embeded 資料夾,指令會相對簡單一點點。

載好了需要的版本之後,我們就可以開始進行安裝。

在這邊打開 cmd,輸入以下指令:

python.exe -m pip install "完整檔案路徑,或完整檔案名稱" onnxruntime

如果你把 whl 放在 python_embeded 以外的地方,對 whl 檔案點右鍵,選複製路徑再貼過來 cmd 就可以;
丟在 python_embeded 的朋友,直接複製完整檔案名貼上。等它跑完就安裝好了。

📢onnxruntime 可加可不加。


恭喜各位,安裝完成。


理論上現在你已經有所有需要的東西,回到 comfy 後,IPAdapter 應該要是可以正常使用的。
影片裡有我平常用來跑的流程,如果你看得懂,那麼你可以先試著玩看看;如果沒辦法的話,下一章節我們就會來看怎麼拉 workflow。




舒服小技巧

最後順便說一個最近蠻多人問的問題,你們有時候會在我畫面右上角看到那個終端在跑嘛,這個是我用 OBS 錄影的時候,把終端的畫面疊上去的,並不是在 comfy 裡面可以實現的功能。

但是,comfy 其實有顯示終端的方塊,如果你真的有需要,可以在空白處點兩下,打開搜尋框,輸入 ter 找到 Terminal Log (Manager),然後要記得把 mode 轉成 Logging,接下來它就會顯示出終端的內容了。



好的希望這篇教學有幫助到你,有任何問題都可以在影片或文章的下方留言,也歡迎跟我討論你對 IPAdapter 的使用心得,把影片分享給你對 AI 算圖感興趣的朋友!


感謝各位收看,掰掰。


ComfyUI GitHub:https://github.com/comfyanonymous/ComfyUI
IPAdapter plus GitHub:https://github.com/cubiq/ComfyUI_IPAdapter_plus
Visual Studio:https://visualstudio.microsoft.com/zh-hant/downloads/
whl 安裝包:https://github.com/Gourieff/Assets/tree/main/Insightface

模型打包:https://mega.nz/folder/DbpCgaxD#pGun2J2wcSvvd5Cj4SffXg


Youtube頻道[你風哥 Wind Bro Draw]上各式生成AI工具教學及介紹影片的文字版,包含使用方法與小技巧,完整的影片文案重新梳理,或是實用小筆記,還有進階使用者的理論基礎部分。工具目前包含ComfyUI、Leonardo.Ai、Picsi.Ai、Pika Labs……等,緩慢新增中。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
AI 生成圖像最重要的條件之一是提示詞。本篇文章介紹了提示詞的基本概念,並分享了從零開始學習寫圖像生成提示詞的心得,重點著重在基本架構跟新手上路的方向。
關於 SORA 技術原理的圖像式解說,內容從通用型人工智慧到生成運算的原理以及相關的技術研究成果。 提供了使用生成運算方式的 Diffusion Transformer 介紹和進階閱讀的指路。分享 AI 研究領域的開放性和合作精神,以及對視覺產業可能帶來的影響。
ComfyUI教學第二階段之[Upscale&SDXL],本篇介紹 upscale 與 SDXL 的基本架構,包含相關控制項的調整、模型的選擇以及高級功能的使用。這個階段一共會分成三部影片、三篇文字版。
詳解 comfy 官方在 12 月 19 日公佈的更新內容,包括一步到位模型、前端改進、幾個新模型、技術支持、專注強化模式、更好的基礎模型等功能更新。
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
AI 生成圖像最重要的條件之一是提示詞。本篇文章介紹了提示詞的基本概念,並分享了從零開始學習寫圖像生成提示詞的心得,重點著重在基本架構跟新手上路的方向。
關於 SORA 技術原理的圖像式解說,內容從通用型人工智慧到生成運算的原理以及相關的技術研究成果。 提供了使用生成運算方式的 Diffusion Transformer 介紹和進階閱讀的指路。分享 AI 研究領域的開放性和合作精神,以及對視覺產業可能帶來的影響。
ComfyUI教學第二階段之[Upscale&SDXL],本篇介紹 upscale 與 SDXL 的基本架構,包含相關控制項的調整、模型的選擇以及高級功能的使用。這個階段一共會分成三部影片、三篇文字版。
詳解 comfy 官方在 12 月 19 日公佈的更新內容,包括一步到位模型、前端改進、幾個新模型、技術支持、專注強化模式、更好的基礎模型等功能更新。
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
你可能也想看
Google News 追蹤
Thumbnail
我很鼓勵投資人不要只投資台股,對股市有一點熟悉度後,建議範圍擴況大到美股,甚至是投資全球。因為台股僅是單一國家/市場,如果能將資產投資到其他國家,風險會更分散,機會也更多,特別是美國股市。 美股會很難懂嗎?我相信你認識的美國企業可能會比台灣企業多,我從標普500成分股前15大企業裡隨便抓十
Thumbnail
美股因多家熱門話題與龍頭企業市值快速增長受到關注,本文介紹如何透過國泰世華CUBE App 開設台股及美股複委託帳戶、定期理財的便利性。 定期投資適合單筆資金有限、經驗不多的理財小白、上班族,或者忙碌、沒時間研究基本面的朋友,國泰世華CUBE App美股定額投資功能,操作便利性幾乎完勝海外券商。
Thumbnail
這是張老師的第三本書,我想前二本應該也有很多朋友們都有讀過,我想絕對是受益良多,而這次在書名上就直接點出,著重在從投資的角度來切入
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
Thumbnail
接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
我很鼓勵投資人不要只投資台股,對股市有一點熟悉度後,建議範圍擴況大到美股,甚至是投資全球。因為台股僅是單一國家/市場,如果能將資產投資到其他國家,風險會更分散,機會也更多,特別是美國股市。 美股會很難懂嗎?我相信你認識的美國企業可能會比台灣企業多,我從標普500成分股前15大企業裡隨便抓十
Thumbnail
美股因多家熱門話題與龍頭企業市值快速增長受到關注,本文介紹如何透過國泰世華CUBE App 開設台股及美股複委託帳戶、定期理財的便利性。 定期投資適合單筆資金有限、經驗不多的理財小白、上班族,或者忙碌、沒時間研究基本面的朋友,國泰世華CUBE App美股定額投資功能,操作便利性幾乎完勝海外券商。
Thumbnail
這是張老師的第三本書,我想前二本應該也有很多朋友們都有讀過,我想絕對是受益良多,而這次在書名上就直接點出,著重在從投資的角度來切入
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
Thumbnail
接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。