ComfyUI 研究 - ControlNet 基礎工作流

這篇的主要目的是搭建出基本可用的Controlnet工作流。

使用AI繪圖到某個階段後通常會接觸到Controlnet這個外掛功能，WebUI的使用者在安裝及使用Controlnet上都非常的方便，不過ComfyUI在安裝上也可以透過Manager很快的安裝好，只是在使用上需要自己串接節點或是拉別人的工作流來套用，然後就是不斷試誤和除錯的過程。

載入模型及文字提示詞

這個部分的工作流包含了大部分的工作流都會有的部分。

使用的節點如下：

• Load Checkpoint
• Load VAE
• CLIP Set Last Layer
• CLIP Text Encode (Prompt)

這部分主要控制生成圖片的風格和用透過文字提示詞控制品質。

對生成圖像的內容可以用文字也可以導入圖片提示詞。

ControlNet

下圖以Canny為例建構的工作流顯示了應用ControlNet基本架構。

這個工作流包含了下列節點：

• Load Image
• Load ControNet Model
• Apply ControlNet
• Canny (預處理)
• Preview Image

這個架構的核心是Apply ControlNet節點，在這個節點左側的conditioning輸入來源是文字提示詞的正向提示詞，control_net的輸入來源是使用的功能對應的模型，image需要輸入可供使用的圖像，通常是經過處理的圖片。

經過Apply ControlNet處理後輸出的類型也是CONDITIONING，可以理解成文字提示詞混合了圖像提示詞後輸出給別的節點使用。

生成圖像

在生成圖像階段，使用最基本的KSampler工作流即可，positive的輸入源即是經過Apply ControlNet處理後的CONDITIONING，這樣在生成時就會將ControlNet加入到生成的圖像中。

這邊使用的是Canny Edge為例，可以看到Canny Edge影響的是生成圖像的構圖。

小結

基本的ControlNet工作流只需要更換預處理器跟對應的模型後就可以改變功能，因為ControlNet提供的功能共十幾項，這篇先不進行逐一討論。

多數的ControlNet功能影響的都是畫面的構圖，較特殊的是M-LSD是適合用在建築或室內設計的應用。