ComfyUI 研究 - ControlNet 基礎工作流

閱讀時間約 2 分鐘

這篇的主要目的是搭建出基本可用的Controlnet工作流。

使用AI繪圖到某個階段後通常會接觸到Controlnet這個外掛功能,WebUI的使用者在安裝及使用Controlnet上都非常的方便,不過ComfyUI在安裝上也可以透過Manager很快的安裝好,只是在使用上需要自己串接節點或是拉別人的工作流來套用,然後就是不斷試誤和除錯的過程。


載入模型及文字提示詞

這個部分的工作流包含了大部分的工作流都會有的部分。

raw-image


使用的節點如下:

  • Load Checkpoint
  • Load VAE
  • CLIP Set Last Layer
  • CLIP Text Encode (Prompt)

這部分主要控制生成圖片的風格和用透過文字提示詞控制品質。

對生成圖像的內容可以用文字也可以導入圖片提示詞。


ControlNet

下圖以Canny為例建構的工作流顯示了應用ControlNet基本架構。

raw-image


這個工作流包含了下列節點:

  • Load Image
  • Load ControNet Model
  • Apply ControlNet
  • Canny (預處理)
  • Preview Image

這個架構的核心是Apply ControlNet節點,在這個節點左側的conditioning輸入來源是文字提示詞的正向提示詞,control_net的輸入來源是使用的功能對應的模型,image需要輸入可供使用的圖像,通常是經過處理的圖片。

經過Apply ControlNet處理後輸出的類型也是CONDITIONING,可以理解成文字提示詞混合了圖像提示詞後輸出給別的節點使用。


生成圖像

在生成圖像階段,使用最基本的KSampler工作流即可,positive的輸入源即是經過Apply ControlNet處理後的CONDITIONING,這樣在生成時就會將ControlNet加入到生成的圖像中。

這邊使用的是Canny Edge為例,可以看到Canny Edge影響的是生成圖像的構圖。

raw-image


小結

基本的ControlNet工作流只需要更換預處理器跟對應的模型後就可以改變功能,因為ControlNet提供的功能共十幾項,這篇先不進行逐一討論。

多數的ControlNet功能影響的都是畫面的構圖,較特殊的是M-LSD是適合用在建築或室內設計的應用。

5.6K會員
73內容數
AI的時代已經來臨
留言0
查看全部
發表第一個留言支持創作者!
Frank Hsu的沙龍 的其他內容
這篇要講的圖像提示詞概念是在AI繪圖的過程中輸入圖片,讓AI去理解圖像內容,或是直接參考圖像的構圖或色彩,再產生新的圖片。 雖然我最常用的是文字提示詞的方式生圖,但是圖像提示詞的應用比文字提示詞更廣也更加複雜,尤其在生成影片的範疇。 即使OpenAI在近日發表了強大的文生影片的Sora模型,但畢
這篇要研究文字提示詞的處理方式。
這篇要移除畫面中的特定物品後自動填滿
這篇介紹 Allor Plugin 的影像合成用節點。
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
這篇要講的圖像提示詞概念是在AI繪圖的過程中輸入圖片,讓AI去理解圖像內容,或是直接參考圖像的構圖或色彩,再產生新的圖片。 雖然我最常用的是文字提示詞的方式生圖,但是圖像提示詞的應用比文字提示詞更廣也更加複雜,尤其在生成影片的範疇。 即使OpenAI在近日發表了強大的文生影片的Sora模型,但畢
這篇要研究文字提示詞的處理方式。
這篇要移除畫面中的特定物品後自動填滿
這篇介紹 Allor Plugin 的影像合成用節點。
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
你可能也想看
Google News 追蹤
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
ComfyUI教學第二階段之[Upscale&SDXL],本篇介紹 upscale 與 SDXL 的基本架構,包含相關控制項的調整、模型的選擇以及高級功能的使用。這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
Thumbnail
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
Thumbnail
測試:含有「南極髮草(Deschampsia antarctica)萃取+阿魏酸(ferulic acid)和維生素C」的精華液→對[生活在城市化高污染地區+並每天>2hrs待在戶外]的婦女皮膚,有何幫助──TEWL、黑斑&角鯊烯過氧化%?
Thumbnail
因老化而發生的皮膚乾燥現象,除了已知與玻尿酸、 神經醯胺和膠原蛋白的減少相關外──研究發現:水通道蛋白(Aquaporins, AQPs)的表現...是導致皮膚保濕度不足的主因...
Thumbnail
人體研究:三胜肽(INCI: Tetradecyl Aminobutyroylvalylaminobutyric Urea Trifluoroacetate)──誘導"玻尿酸"增生→填補皺紋、緊緻肌膚...
Thumbnail
讀到這則偷偷說,非常難過。雖然這則偷偷說底下的大家目前留言都好溫暖,但看見越多人訴說自己的經驗,就又更加難受。 碩士論文題目恰巧與性侵倖存者有關,聚焦在約會關係性侵害上。
Thumbnail
在猴抱貓事件之後雖然獲得關注跟媒體的報導,當時卻還未有創立吱吱黨的想法,直到壽山台灣獼猴因研究用的無線電發報器導致頸部不適、受傷,才點燃了抗爭與「台灣獼猴吱吱黨」的創立。
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
ComfyUI教學第二階段之[Upscale&SDXL],本篇介紹 upscale 與 SDXL 的基本架構,包含相關控制項的調整、模型的選擇以及高級功能的使用。這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
Thumbnail
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
Thumbnail
測試:含有「南極髮草(Deschampsia antarctica)萃取+阿魏酸(ferulic acid)和維生素C」的精華液→對[生活在城市化高污染地區+並每天>2hrs待在戶外]的婦女皮膚,有何幫助──TEWL、黑斑&角鯊烯過氧化%?
Thumbnail
因老化而發生的皮膚乾燥現象,除了已知與玻尿酸、 神經醯胺和膠原蛋白的減少相關外──研究發現:水通道蛋白(Aquaporins, AQPs)的表現...是導致皮膚保濕度不足的主因...
Thumbnail
人體研究:三胜肽(INCI: Tetradecyl Aminobutyroylvalylaminobutyric Urea Trifluoroacetate)──誘導"玻尿酸"增生→填補皺紋、緊緻肌膚...
Thumbnail
讀到這則偷偷說,非常難過。雖然這則偷偷說底下的大家目前留言都好溫暖,但看見越多人訴說自己的經驗,就又更加難受。 碩士論文題目恰巧與性侵倖存者有關,聚焦在約會關係性侵害上。
Thumbnail
在猴抱貓事件之後雖然獲得關注跟媒體的報導,當時卻還未有創立吱吱黨的想法,直到壽山台灣獼猴因研究用的無線電發報器導致頸部不適、受傷,才點燃了抗爭與「台灣獼猴吱吱黨」的創立。