ComfyUI 研究 - 自動產生遮罩

更新 發佈閱讀 2 分鐘

先前使用遮罩進行重繪工作時,雖然ComfyUI有提供簡單的畫布給使用者手繪出遮罩範圍,但是手繪的精度需要看使用者的功力與耐性,如果有大量作業需求時,手繪遮罩的效率極低,因此在工作流中加入自動產生遮罩的功能是必要之事。

自動化產生遮罩的幾個方法介紹如下:


使用 Impact Pack

raw-image


上圖是使用 Impact Pack提供的節點搭建的自動產生遮罩工作流,包含以下節點:

  • Load Image
  • UltralyticsDetectorProvider
  • SAMLoader (Impact)
  • Simple Detector (SEGS)
  • SEGSPreview
  • SEGS to MASK (Combined)
  • Mask To Image (mtb)
  • Preview Image

其中UltralyticsDetectorProvider節點提供Face、Hand、Person三個模型,可以選擇想要產生Segment的範圍,再經過SEGS to MASK (Combined)的節點轉換成遮罩圖像,之後再將遮罩圖像輸入到重繪用的工作流,就可以重繪遮罩內的內容。


使用 Face Swap

raw-image

上圖是使用 Face Swap提供的節點搭建的自動產生遮罩工作流,包含以下節點:

  • Load Image
  • Load BiseNet
  • Segment Face
  • Mask To Image (mtb)
  • Preview Image

因為Face Swap的主要功能是換臉,所以可選的只有臉、頭髮、脖子,而且產生的遮罩效果不是很好。


使用 Allor Plugin

raw-image

使用Allor Plugin提供的節點搭建的自動產生遮罩工作流,包含以下節點:

  • Load Image
  • ImageSegmentation
  • Convert Image to Mask
  • Mask To Image (mtb)
  • Preview Image

這個工作流其實是先對圖片去除背景,然後再轉換成遮罩使用。

在ImageSegmentation這個節點的Model提供多個不同的模型使用,因為都要另外下載,這邊不多做測試。


使用 Segment Anything

raw-image

使用Segment Anything提供的節點搭建的自動產生遮罩工作流,包含以下節點:

  • Load Image
  • SAMModelLoader (segment anything)
  • GroundingDinoModelLoader (segment anything)
  • GroundingDinoSAMSegment (segment anything)
  • Mask To Image (mtb)
  • Preview Image

這個工作流應用性最廣,可以透過提示詞去控制產生遮罩的範圍,不限於人物,透過GroundingDinoSAMSegment (segment anything)這個節點會產生一個在原始圖片上加入遮罩的圖片,也可以只輸出遮罩供其他節點使用。


留言
avatar-img
Frank Plaza
13.4K會員
89內容數
AI的時代已經來臨
Frank Plaza的其他內容
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
看更多
你可能也想看
Thumbnail
vocus 慶祝推出 App,舉辦 2026 全站慶。推出精選內容與數位商品折扣,訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包,以及全站徵文,並邀請你一起來回顧過去的一年, vocus 與創作者共同留下了哪些精彩創作。
Thumbnail
vocus 慶祝推出 App,舉辦 2026 全站慶。推出精選內容與數位商品折扣,訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包,以及全站徵文,並邀請你一起來回顧過去的一年, vocus 與創作者共同留下了哪些精彩創作。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。
Thumbnail
接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
這篇要搭建製作透明背景素材的工作流。
Thumbnail
這篇要搭建製作透明背景素材的工作流。
Thumbnail
這篇要移除畫面中的特定物品後自動填滿
Thumbnail
這篇要移除畫面中的特定物品後自動填滿
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News