ComfyUI — IPAdapter + Controlnet + Animatediff
ComfyUI 是一款免費開源且強大的視覺化工作流程工具，使用者能夠直觀地操作並靈活運用生成獨特的 AI 圖像及影片。
一.特色
最近，Runway Gen-3 推出影片轉影片（Video to Video）的功能，能夠穩定地轉換影片風格；不過目前非常多人在使用，生成一個影像往往需要排隊非常久。
我們可以使用 ComfyUI的工作流快速地達到同樣效果並且有更多的參數提供調整，在於尺寸及生成秒數也有更多的調整空間。
有助於專案初期，在有限的時間內節省人力和算圖成本，轉換大量的動態風格。在初期提案中，可以快速具體化接近最終效果的動態畫面。
二.準備流程
- 安裝 ComfyUI及安裝 ComfyUI的 Manager
- 可以直接使用我的 Workflow 進行測試，不過可能會缺失很多 node，可利用 Manager來一鍵安裝齊全。
- 準備素材 （影片*1+物件圖片*1+背景圖片*1）
- 操作原始範例，素材使用跳舞影片、花圖片、海邊背景圖
- 延伸應用-去背物件的風格轉換，使用元素類型的素材
▲利用 Manager的 Install Missing Custom Nodes來一鍵安裝齊全
原始範例
▲素材：跳舞影片、花圖片、海邊背景圖
▲IPAdapter 圖片提示-控制背景圖(海邊)和物件圖(花)
▲IPAdapter 權重調整，數值2就算偏高了
IPAdapter 權重越高與參考圖越像，反之權重越低與參考圖越不像。
▲圖片素材會透過mask遮罩跟影片結合
▲影片參數調整
這邊有一些可以調整的參數：
• frame_load_cap 是輸出總幀數也就是影片長度，測試時可設短一些如 90。
（如果素材影片很長的話，預設0會跑全部影格，算圖時間會非常久）
• skip_first_frames 是可以跳過前面幀數影格。
• select_every_nth 是可以規律跳過多個幀數。
▲Controlnet 控制動作
Controlnet 強度越強、AI 生成發揮空間越小，所以和參考影片的動作越像。
反之，強度調低、AI 生成發揮空間越大，影片生成動作會更多元。
▲Checkpoint和Lora 是很影響畫面的因素
Checkpoint和 Lora我使用的是 Dreamshaper_8LCM 和 Ghibli_v6 這兩個模型，效果很不錯，大家也可以選擇其他的模型自己做變化。
▲Upscale放大-scale數值是影響畫質的關鍵因素
注意 Scale數值不能太高，不然會爆顯存。
Empty Latent Image 尺寸為512*288放大2倍是1024*576。
動態生成類通常很吃顯存需要特別注意！
▲提供參考，我的電腦顯卡是 RTX 3090，24GB
▲Interpolated補間也相當吃記憶體
若硬體設備不好的話，Interpolated 可以使用 Ctrl+B先關掉避免爆顯存 。
▲左至右分別為 preview（預覽）、upscaled（放大過）、Interpolated（補幀過），主要看第3個 upscaled 的成果即可
▲左圖為素材影片，右圖為成果影片
延伸應用
想要輸出去背物件做風格轉換且呈現 VFX的效果，因此我們使用元素類型的粒子影片素材及火焰參考圖做嘗試。
在初期提案，可以使用此工作流將簡單素模素材轉換成有貼圖、更精緻且完整度較高的模樣，快速具體化呈現想像中接近最終效果的動態畫面。
▲素材：粒子影片及火焰圖
▲上面有提到圖片素材會透過 mask跟影片結合，所以這邊我把關於背景參考圖的設置按Ctrl+B關掉
▲左圖為素材影片，右圖為成果影片
我將這個工作流程（含筆記）放在連結，大家可以嘗試看看。
https://drive.google.com/drive/folders/1IR6OodZ7DuJtyGE1eAP1KxQQPC-0QkYD?usp=sharing
歡迎追蹤我們的社群
IG：https://www.instagram.com/ml_runcat/
Thread：https://www.threads.net/@ml_runcat
歡迎體驗生成
Moonland 酷酷的免費AI生成平台：https://moonland.ai
Moonshot 免費AI生圖機器人：https://ssur.cc/aBP4CtYg
▲Moonshot QRcode
