這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
下面是在ComfyUI內產生遮罩的一個工作流。
這個工作流是透過生成並結合不同遮罩,達到畫面分區的目的。
使用這個工作流生成遮罩需要事前規劃跟簡單的數學計算,也可以使用繪圖軟體去生成遮罩圖像來做為輸入使用。
將上一個步驟生成的遮罩輸入到IPAdapter,並載入參考圖片,因為IPAdapter訓練時採用的是方型圖片,所以須要使用Prepare Image For Clip Vision節點將圖片裁切成方型,裁切完的會是512*512的圖片。
生成圖片時採用的是一般的工作流,因為單純想要看測試的效果,保持簡單就好。
下圖左邊是生成的遮罩圖,右邊是生成的圖片。
可以看到人物集中在左側,這是將遮罩輸入到IPAapter後的效果,IPAdapter將來源圖片的元素提取後,在遮罩的左側空白處產生影響,右側則是受到模型跟文字提示詞控制。
下圖輸入的遮罩分為三個區塊,白色區域受IPAdapter控制,中間黑色區塊則是輸入bear文字提示詞。
下圖是另一個分成三區塊的構圖,雖然天真的認為人物會按照遮罩比例有所差異,但數次測試下來還是呈現比較隨機的結果。
下圖試著生成四個區塊的遮罩,也順利地生成了四個角色的圖片。
採用本篇測試的方法理論上可以生成更多人物在同一張圖片中,只是光靠遮罩生成的工作流需要耗費較多時間去將畫面分區,如果在其他繪圖軟體中將遮罩繪製出來,再輸入給IPAdapter去控制畫面,應該可以產生更多變化。