AI 9月月報-AI爆紅影片風格轉換術大公開！

ComfyUI — IPAdapter + Controlnet + Animatediff

ComfyUI 是一款免費開源且強大的視覺化工作流程工具，使用者能夠直觀地操作並靈活運用生成獨特的 AI 圖像及影片。

一.特色

最近，Runway Gen-3 推出影片轉影片（Video to Video）的功能，能夠穩定地轉換影片風格；不過目前非常多人在使用，生成一個影像往往需要排隊非常久。

我們可以使用 ComfyUI的工作流快速地達到同樣效果並且有更多的參數提供調整，在於尺寸及生成秒數也有更多的調整空間。

有助於專案初期，在有限的時間內節省人力和算圖成本，轉換大量的動態風格。在初期提案中，可以快速具體化接近最終效果的動態畫面。

二.準備流程

1. 安裝 ComfyUI及安裝 ComfyUI的 Manager
2. 可以直接使用我的 Workflow 進行測試，不過可能會缺失很多 node，可利用 Manager來一鍵安裝齊全。
3. 準備素材 （影片*1+物件圖片*1+背景圖片*1）
4. 操作原始範例，素材使用跳舞影片、花圖片、海邊背景圖
5. 延伸應用-去背物件的風格轉換，使用元素類型的素材

▲利用 Manager的 Install Missing Custom Nodes來一鍵安裝齊全

原始範例

▲素材：跳舞影片、花圖片、海邊背景圖

▲IPAdapter 圖片提示-控制背景圖(海邊)和物件圖(花)

▲IPAdapter 權重調整，數值2就算偏高了

IPAdapter 權重越高與參考圖越像，反之權重越低與參考圖越不像。

▲圖片素材會透過mask遮罩跟影片結合

▲影片參數調整

這邊有一些可以調整的參數：

• frame_load_cap 是輸出總幀數也就是影片長度，測試時可設短一些如 90。

（如果素材影片很長的話，預設0會跑全部影格，算圖時間會非常久）

• skip_first_frames 是可以跳過前面幀數影格。

• select_every_nth 是可以規律跳過多個幀數。

▲Controlnet 控制動作

Controlnet 強度越強、AI 生成發揮空間越小，所以和參考影片的動作越像。
反之，強度調低、AI 生成發揮空間越大，影片生成動作會更多元。

▲Checkpoint和Lora 是很影響畫面的因素

Checkpoint和 Lora我使用的是 Dreamshaper_8LCM 和 Ghibli_v6 這兩個模型，效果很不錯，大家也可以選擇其他的模型自己做變化。

▲Upscale放大-scale數值是影響畫質的關鍵因素

注意 Scale數值不能太高，不然會爆顯存。
Empty Latent Image 尺寸為512*288放大2倍是1024*576。

動態生成類通常很吃顯存需要特別注意！

▲提供參考，我的電腦顯卡是 RTX 3090，24GB

▲Interpolated補間也相當吃記憶體

若硬體設備不好的話，Interpolated 可以使用 Ctrl+B先關掉避免爆顯存 。

▲左至右分別為 preview（預覽）、upscaled（放大過）、Interpolated（補幀過），主要看第3個 upscaled 的成果即可

▲左圖為素材影片，右圖為成果影片

延伸應用

想要輸出去背物件做風格轉換且呈現 VFX的效果，因此我們使用元素類型的粒子影片素材及火焰參考圖做嘗試。

在初期提案，可以使用此工作流將簡單素模素材轉換成有貼圖、更精緻且完整度較高的模樣，快速具體化呈現想像中接近最終效果的動態畫面。

▲素材：粒子影片及火焰圖

▲上面有提到圖片素材會透過 mask跟影片結合，所以這邊我把關於背景參考圖的設置按Ctrl+B關掉

▲左圖為素材影片，右圖為成果影片

我將這個工作流程（含筆記）放在連結，大家可以嘗試看看。

https://drive.google.com/drive/folders/1IR6OodZ7DuJtyGE1eAP1KxQQPC-0QkYD?usp=sharing

歡迎追蹤我們的社群

IG：https://www.instagram.com/ml_runcat/
Thread：https://www.threads.net/@ml_runcat

歡迎體驗生成

Moonland 酷酷的免費AI生成平台：https://moonland.ai
Moonshot 免費AI生圖機器人：https://ssur.cc/aBP4CtYg

▲Moonshot QRcode