上回有講到image-to-image， 將寫實照片轉成動漫風，或是動漫風轉寫實照片，也提到過可以使用訓練好的Lora來調整風格, 那如果沒有訓練好的Lora或是只想要一張參考圖片來製作新的影像呢 ? 那麼可以試試 IPAdapter
可以將 IPAdapter 理解為一種「style reference」（風格參考）工具。IPAdapter 的核心功能之一就是「風格轉換」（style transfer），它可以從你指定的參考圖片中提取風格，並將這種風格應用到你的目標圖片上
這種方式類似於單圖 LoRA，但不需要大量訓練數據，只需一張參考圖即可快速完成風格遷移
XLabs推出的Flux IP Adapter的圖片就明白說明了如果你用Ipadapter可以做到的事:
下載與安裝模型與節點
打開檔案總管, 進到你的目錄: ComfyUI\custom_nodes
點擊目錄的那一行後輸入cmd 叫出終端機視窗
確保你之前有安裝Git
終端機輸入:
git clone https://github.com/XLabs-AI/x-flux-comfyui
cd x-flux-comfyui
python setup.py
安裝完畢後
來這裡下載需要的模型
下載 model.safetensors (1.71GB)
下載到 ComfyUI\models\clip_vision,
(我習慣將 model.safetensors 改名為 clip-vit-large-patch14以後比較好辨認，也可以維持原樣你記得就好)
再來下載 IP Adapter
下載 ip_adapter.safetensors 到 ComfyUI/models/xlabs/ipadapters
下方有個 ip_adapter_workflow.json 工作流我們下載到 ComfyUI/user/default/workflows
按下Ctrl+R重新載入ComfyUI設定, 直接修改這個工作流就可以使用了
查看工作流
工作流長這個樣子:
看起來非常雜亂(個人覺得)，不過你仔細看事實上就是我們之前的工作流，
再加上載入IpAdapter的部分而已，
我們重新把畫面整理一下，把沒用到的節點拿掉(Image Crop, Load Flux Lora):
這樣是不是有比較清楚?
載入我們要參考的圖片(#16)，決定要不要把原來的圖片放大(#33)
這裡也要生成潛像(#6)， 大小要和你的放大後的來源圖片依樣大比較不會生出來的圖變得很奇怪
Sampler這邊我們採用XLab提供的 Xlabs Sampler，
小心如果你是local端要跑的話， 這裡預設是50步! 可以調成約28步就可，不夠再調整
CLIPTextEncodeFlux的節點區分為兩個CLIP model使用的提示詞，先維持一樣就可
注意! 如果你的顯示卡不是 4090, 5090等級， 會超慢!!
我是會乾脆放到雲端跑可能還會比較快些
使用雲端算力
這裡可以試試 Shakker AI
有繁體中文， 每天送200點讓你測試， 可以直接跑ComfyUI
首先載入你電腦的工作流，把我們剛剛調整好的， 或是下載回來的 ipadapter_flow.json上傳， 然後調整一下model來源:
提示詞只要寫你要改變的項目就好了，例如這裡是舉牌子
上傳一張1024x1024的圖片來做測試:
得到結果:
後記
什麼都好, 就是運作速度很慢
也可能有優化的方式, 如果有找到會再陸續更新上來
