這篇的主要目的是搭建出基本可用的Controlnet工作流。
使用AI繪圖到某個階段後通常會接觸到Controlnet這個外掛功能,WebUI的使用者在安裝及使用Controlnet上都非常的方便,不過ComfyUI在安裝上也可以透過Manager很快的安裝好,只是在使用上需要自己串接節點或是拉別人的工作流來套用,然後就是不斷試誤和除錯的過程。
這個部分的工作流包含了大部分的工作流都會有的部分。
使用的節點如下:
這部分主要控制生成圖片的風格和用透過文字提示詞控制品質。
對生成圖像的內容可以用文字也可以導入圖片提示詞。
下圖以Canny為例建構的工作流顯示了應用ControlNet基本架構。
這個工作流包含了下列節點:
這個架構的核心是Apply ControlNet節點,在這個節點左側的conditioning輸入來源是文字提示詞的正向提示詞,control_net的輸入來源是使用的功能對應的模型,image需要輸入可供使用的圖像,通常是經過處理的圖片。
經過Apply ControlNet處理後輸出的類型也是CONDITIONING,可以理解成文字提示詞混合了圖像提示詞後輸出給別的節點使用。
在生成圖像階段,使用最基本的KSampler工作流即可,positive的輸入源即是經過Apply ControlNet處理後的CONDITIONING,這樣在生成時就會將ControlNet加入到生成的圖像中。
這邊使用的是Canny Edge為例,可以看到Canny Edge影響的是生成圖像的構圖。
基本的ControlNet工作流只需要更換預處理器跟對應的模型後就可以改變功能,因為ControlNet提供的功能共十幾項,這篇先不進行逐一討論。
多數的ControlNet功能影響的都是畫面的構圖,較特殊的是M-LSD是適合用在建築或室內設計的應用。