ComfyUI 研究 - ControlNet 基礎工作流

更新於 發佈於 閱讀時間約 2 分鐘

這篇的主要目的是搭建出基本可用的Controlnet工作流。

使用AI繪圖到某個階段後通常會接觸到Controlnet這個外掛功能,WebUI的使用者在安裝及使用Controlnet上都非常的方便,不過ComfyUI在安裝上也可以透過Manager很快的安裝好,只是在使用上需要自己串接節點或是拉別人的工作流來套用,然後就是不斷試誤和除錯的過程。


載入模型及文字提示詞

這個部分的工作流包含了大部分的工作流都會有的部分。

raw-image


使用的節點如下:

  • Load Checkpoint
  • Load VAE
  • CLIP Set Last Layer
  • CLIP Text Encode (Prompt)

這部分主要控制生成圖片的風格和用透過文字提示詞控制品質。

對生成圖像的內容可以用文字也可以導入圖片提示詞。


ControlNet

下圖以Canny為例建構的工作流顯示了應用ControlNet基本架構。

raw-image


這個工作流包含了下列節點:

  • Load Image
  • Load ControNet Model
  • Apply ControlNet
  • Canny (預處理)
  • Preview Image

這個架構的核心是Apply ControlNet節點,在這個節點左側的conditioning輸入來源是文字提示詞的正向提示詞,control_net的輸入來源是使用的功能對應的模型,image需要輸入可供使用的圖像,通常是經過處理的圖片。

經過Apply ControlNet處理後輸出的類型也是CONDITIONING,可以理解成文字提示詞混合了圖像提示詞後輸出給別的節點使用。


生成圖像

在生成圖像階段,使用最基本的KSampler工作流即可,positive的輸入源即是經過Apply ControlNet處理後的CONDITIONING,這樣在生成時就會將ControlNet加入到生成的圖像中。

這邊使用的是Canny Edge為例,可以看到Canny Edge影響的是生成圖像的構圖。

raw-image


小結

基本的ControlNet工作流只需要更換預處理器跟對應的模型後就可以改變功能,因為ControlNet提供的功能共十幾項,這篇先不進行逐一討論。

多數的ControlNet功能影響的都是畫面的構圖,較特殊的是M-LSD是適合用在建築或室內設計的應用。

留言
avatar-img
留言分享你的想法!
Frank-avatar-img
發文者
2024/02/26
ComfyUI 研究 - ControlNet 進階工作流提及了這篇文章,趕快過去看看吧!
avatar-img
Frank Plaza
10.0K會員
88內容數
AI的時代已經來臨
Frank Plaza的其他內容
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
看更多
你可能也想看
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
Thumbnail
這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
這篇要測試的工作流是Face Swap。
Thumbnail
這篇要測試的工作流是Face Swap。
Thumbnail
這是為了搭建自己想要的工作流而開始的研究工作。
Thumbnail
這是為了搭建自己想要的工作流而開始的研究工作。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News