ComfyUI 研究 - ControlNet 基礎工作流

更新於 發佈於 閱讀時間約 2 分鐘

這篇的主要目的是搭建出基本可用的Controlnet工作流。

使用AI繪圖到某個階段後通常會接觸到Controlnet這個外掛功能,WebUI的使用者在安裝及使用Controlnet上都非常的方便,不過ComfyUI在安裝上也可以透過Manager很快的安裝好,只是在使用上需要自己串接節點或是拉別人的工作流來套用,然後就是不斷試誤和除錯的過程。


載入模型及文字提示詞

這個部分的工作流包含了大部分的工作流都會有的部分。

raw-image


使用的節點如下:

  • Load Checkpoint
  • Load VAE
  • CLIP Set Last Layer
  • CLIP Text Encode (Prompt)

這部分主要控制生成圖片的風格和用透過文字提示詞控制品質。

對生成圖像的內容可以用文字也可以導入圖片提示詞。


ControlNet

下圖以Canny為例建構的工作流顯示了應用ControlNet基本架構。

raw-image


這個工作流包含了下列節點:

  • Load Image
  • Load ControNet Model
  • Apply ControlNet
  • Canny (預處理)
  • Preview Image

這個架構的核心是Apply ControlNet節點,在這個節點左側的conditioning輸入來源是文字提示詞的正向提示詞,control_net的輸入來源是使用的功能對應的模型,image需要輸入可供使用的圖像,通常是經過處理的圖片。

經過Apply ControlNet處理後輸出的類型也是CONDITIONING,可以理解成文字提示詞混合了圖像提示詞後輸出給別的節點使用。


生成圖像

在生成圖像階段,使用最基本的KSampler工作流即可,positive的輸入源即是經過Apply ControlNet處理後的CONDITIONING,這樣在生成時就會將ControlNet加入到生成的圖像中。

這邊使用的是Canny Edge為例,可以看到Canny Edge影響的是生成圖像的構圖。

raw-image


小結

基本的ControlNet工作流只需要更換預處理器跟對應的模型後就可以改變功能,因為ControlNet提供的功能共十幾項,這篇先不進行逐一討論。

多數的ControlNet功能影響的都是畫面的構圖,較特殊的是M-LSD是適合用在建築或室內設計的應用。

留言
avatar-img
留言分享你的想法!
Wahaha1345-avatar-img
發文者
2024/02/26
ComfyUI 研究 - ControlNet 進階工作流提及了這篇文章,趕快過去看看吧!
avatar-img
Frank Plaza
10.3K會員
89內容數
AI的時代已經來臨
Frank Plaza的其他內容
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
看更多
你可能也想看
Thumbnail
孩子寫功課時瞇眼?小心近視!這款喜光全光譜TIONE⁺光健康智慧檯燈,獲眼科院長推薦,網路好評不斷!全光譜LED、180cm大照明範圍、5段亮度及色溫調整、350度萬向旋轉,讓孩子學習更舒適、保護眼睛!
Thumbnail
孩子寫功課時瞇眼?小心近視!這款喜光全光譜TIONE⁺光健康智慧檯燈,獲眼科院長推薦,網路好評不斷!全光譜LED、180cm大照明範圍、5段亮度及色溫調整、350度萬向旋轉,讓孩子學習更舒適、保護眼睛!
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
Thumbnail
這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
這篇要測試的工作流是Face Swap。
Thumbnail
這篇要測試的工作流是Face Swap。
Thumbnail
這是為了搭建自己想要的工作流而開始的研究工作。
Thumbnail
這是為了搭建自己想要的工作流而開始的研究工作。
Thumbnail
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
Thumbnail
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
Thumbnail
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
Thumbnail
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News