ComfyUI 研究 - 自動產生遮罩

更新 發佈閱讀 2 分鐘

先前使用遮罩進行重繪工作時,雖然ComfyUI有提供簡單的畫布給使用者手繪出遮罩範圍,但是手繪的精度需要看使用者的功力與耐性,如果有大量作業需求時,手繪遮罩的效率極低,因此在工作流中加入自動產生遮罩的功能是必要之事。

自動化產生遮罩的幾個方法介紹如下:


使用 Impact Pack

raw-image


上圖是使用 Impact Pack提供的節點搭建的自動產生遮罩工作流,包含以下節點:

  • Load Image
  • UltralyticsDetectorProvider
  • SAMLoader (Impact)
  • Simple Detector (SEGS)
  • SEGSPreview
  • SEGS to MASK (Combined)
  • Mask To Image (mtb)
  • Preview Image

其中UltralyticsDetectorProvider節點提供Face、Hand、Person三個模型,可以選擇想要產生Segment的範圍,再經過SEGS to MASK (Combined)的節點轉換成遮罩圖像,之後再將遮罩圖像輸入到重繪用的工作流,就可以重繪遮罩內的內容。


使用 Face Swap

raw-image

上圖是使用 Face Swap提供的節點搭建的自動產生遮罩工作流,包含以下節點:

  • Load Image
  • Load BiseNet
  • Segment Face
  • Mask To Image (mtb)
  • Preview Image

因為Face Swap的主要功能是換臉,所以可選的只有臉、頭髮、脖子,而且產生的遮罩效果不是很好。


使用 Allor Plugin

raw-image

使用Allor Plugin提供的節點搭建的自動產生遮罩工作流,包含以下節點:

  • Load Image
  • ImageSegmentation
  • Convert Image to Mask
  • Mask To Image (mtb)
  • Preview Image

這個工作流其實是先對圖片去除背景,然後再轉換成遮罩使用。

在ImageSegmentation這個節點的Model提供多個不同的模型使用,因為都要另外下載,這邊不多做測試。


使用 Segment Anything

raw-image

使用Segment Anything提供的節點搭建的自動產生遮罩工作流,包含以下節點:

  • Load Image
  • SAMModelLoader (segment anything)
  • GroundingDinoModelLoader (segment anything)
  • GroundingDinoSAMSegment (segment anything)
  • Mask To Image (mtb)
  • Preview Image

這個工作流應用性最廣,可以透過提示詞去控制產生遮罩的範圍,不限於人物,透過GroundingDinoSAMSegment (segment anything)這個節點會產生一個在原始圖片上加入遮罩的圖片,也可以只輸出遮罩供其他節點使用。


留言
avatar-img
留言分享你的想法!
avatar-img
Frank Plaza
11.6K會員
89內容數
AI的時代已經來臨
Frank Plaza的其他內容
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
看更多
你可能也想看
Thumbnail
蝦皮分潤計畫讓我在分享旅遊文章時,也能透過推薦好物累積被動收入,貼補旅行基金。這篇文章,除了介紹計畫的操作亮點與心得,也分享我最常應用的案例:「旅行必備小物 TOP5」,包含行李鎖、免洗內衣褲、分裝瓶、折疊衣架與真空壓縮袋,幫助出國打包更輕鬆。想同時記錄旅行、分享好物又創造額外收入的你,千萬別錯過!
Thumbnail
蝦皮分潤計畫讓我在分享旅遊文章時,也能透過推薦好物累積被動收入,貼補旅行基金。這篇文章,除了介紹計畫的操作亮點與心得,也分享我最常應用的案例:「旅行必備小物 TOP5」,包含行李鎖、免洗內衣褲、分裝瓶、折疊衣架與真空壓縮袋,幫助出國打包更輕鬆。想同時記錄旅行、分享好物又創造額外收入的你,千萬別錯過!
Thumbnail
想增加被動收入?加入蝦皮分潤計畫是輕鬆上手的好方法!本文提供完整教學,包含申請流程、賺取分潤技巧,以及實際使用心得分享,助你輕鬆獲得額外收入。
Thumbnail
想增加被動收入?加入蝦皮分潤計畫是輕鬆上手的好方法!本文提供完整教學,包含申請流程、賺取分潤技巧,以及實際使用心得分享,助你輕鬆獲得額外收入。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。
Thumbnail
接續著前篇,接著我要使用圖生圖的方式去達成多人構圖的目的,本篇會使用幾種圖生圖的工作流去測試。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
這篇要搭建製作透明背景素材的工作流。
Thumbnail
這篇要搭建製作透明背景素材的工作流。
Thumbnail
這篇要移除畫面中的特定物品後自動填滿
Thumbnail
這篇要移除畫面中的特定物品後自動填滿
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
Thumbnail
前篇測試如何把提示詞生成的圖像細節提高,這篇要測試的工作流是把任意圖像載入後經由放大模型放大,同時測試放大後重繪看看效果如何。
Thumbnail
前篇測試如何把提示詞生成的圖像細節提高,這篇要測試的工作流是把任意圖像載入後經由放大模型放大,同時測試放大後重繪看看效果如何。
Thumbnail
ComfyUI可以直接將WebUI(A1111算法)生成的圖像拉進介面讀取工作流與提示詞,但是會生成完成不同的圖像,為了讓圖像成果更加接近WebUI(A1111算法)生成的圖像,預設工作流中的部份Nodes需要被替換,且替換完要將一些參數改成A1111。
Thumbnail
ComfyUI可以直接將WebUI(A1111算法)生成的圖像拉進介面讀取工作流與提示詞,但是會生成完成不同的圖像,為了讓圖像成果更加接近WebUI(A1111算法)生成的圖像,預設工作流中的部份Nodes需要被替換,且替換完要將一些參數改成A1111。
Thumbnail
這篇是以預設工作流為基礎,加入提示詞去控制畫面,目的是控制生成圖像的主題跟提升品質。
Thumbnail
這篇是以預設工作流為基礎,加入提示詞去控制畫面,目的是控制生成圖像的主題跟提升品質。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News