ComfyUI研究 - InstantID

更新 發佈閱讀 2 分鐘

InstantID是中國的團隊做出來的功能,專注在人像的風格轉換上。

官方github網址:https://github.com/InstantID/InstantID

在ComfyUI使用上有提供三個非官方的節點組可以選擇如下:

以上三個節點除了cubiq的版本外,其他兩個都因為需要使用diffusers的關係,所以安裝後容易報錯,而cubiq的版本安裝很簡單且可以順利運行,所以三個都安裝過後,最終我留下並使用的是cubiq的版本,cubiq同時也是IPAdapter Plus的作者。


工作流

基本工作流

下圖是根據cubiq提供的基本工作流稍作調整修改,我加入Get resolution節點,直接讀取來源圖片的寬高,然後輸入到Empty Latent Image固定生成圖像的尺寸與來源圖像相同。

vocus|新世代的創作平台

cubiq在他的InstantID節點頁面有說明因為InstantID在訓練時採用1024*1024的圖像,所以在生成1024*1024的圖像時會容易出現浮水印,所以他建議使用1016*1016的生成尺寸。

因為我只是測試節點作用,所以採用來源圖像跟生成圖像的尺寸相同的做法。

可以看出使用InstantID後,人物的長相一致性比IPAdapter FaceID還要更高,而且受到文字提示詞與選用模型的影響,風格順利轉換成另外一種。


加入控制圖像

下圖是加入控制圖像的工作流(局部),跟基本工作流的差異是在Image_kps輸入控制圖像。

vocus|新世代的創作平台

在cubiq最初的版本是加入臉部偵測的controlnet去控制生成人臉的位置,在後來的改版就提供了上圖看到的簡化,只要簡單的在Image_kps輸入圖像,就可以改變生成圖像的臉部位置。


混合IPAdapter

InstantID可以串接IPAdapter使用,下圖是上面的工作流串接之後的效果。

vocus|新世代的創作平台

這邊使用的是新版的IPAdapter中的style transfer (SDXL)功能,這個功能可以讓IPAdapter專注在風格上面,但畫質表現上略差。


小結

InstantID提供了較為單純的使用方式,強化了生成人物的長相一致性,還可以搭配controlnet跟IPAdapter去調整人物姿勢跟畫面風格,還可以使用SDXL Turbo/Lighting等加速模型。

如果只是看InstantID在github的頁面介紹,可能會讓人誤會InstantID只是做到很多手機app都可以做到的濾鏡效果。

另外cubiq還分享了可以在一張圖片中生成兩人的工作流,實測下來生成時間如其所言較長且不容易成功,cubiq說會再花時間優化,就不多做測試了。

留言
avatar-img
Frank Plaza
13.9K會員
89內容數
AI的時代已經來臨
Frank Plaza的其他內容
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/03/31
IPAdapter節點重大更新,要不要更新呢?
Thumbnail
2024/03/31
IPAdapter節點重大更新,要不要更新呢?
Thumbnail
看更多
你可能也想看
Thumbnail
本文深度解析賽勒布倫尼科夫的舞臺作品《傳奇:帕拉贊諾夫的十段殘篇》,如何以十段殘篇,結合帕拉贊諾夫的電影美學、象徵意象與當代政治流亡抗爭,探討藝術在儀式消失的現代社會如何承接意義,並展現不羈的自由靈魂。
Thumbnail
本文深度解析賽勒布倫尼科夫的舞臺作品《傳奇:帕拉贊諾夫的十段殘篇》,如何以十段殘篇,結合帕拉贊諾夫的電影美學、象徵意象與當代政治流亡抗爭,探討藝術在儀式消失的現代社會如何承接意義,並展現不羈的自由靈魂。
Thumbnail
全新版本的《三便士歌劇》如何不落入「復刻經典」的巢臼,反而利用華麗的秀場視覺,引導觀眾在晚期資本主義的消費愉悅之中,而能驚覺「批判」本身亦可能被收編——而當絞繩升起,這場關於如何生存的黑色遊戲,又將帶領新時代的我們走向何種後現代的自我解構?
Thumbnail
全新版本的《三便士歌劇》如何不落入「復刻經典」的巢臼,反而利用華麗的秀場視覺,引導觀眾在晚期資本主義的消費愉悅之中,而能驚覺「批判」本身亦可能被收編——而當絞繩升起,這場關於如何生存的黑色遊戲,又將帶領新時代的我們走向何種後現代的自我解構?
Thumbnail
第一次使用這平台 處於摸索狀態 透過文字希望可以好好紀錄自己的生活
Thumbnail
第一次使用這平台 處於摸索狀態 透過文字希望可以好好紀錄自己的生活
Thumbnail
長期以來,西方美學以《維特魯威人》式的幾何比例定義「完美身體」,這種視覺標準無形中成為殖民擴張與種族分類的暴力工具。本文透過分析奈及利亞編舞家庫德斯.奧尼奎庫的舞作《轉轉生》,探討當代非洲舞蹈如何跳脫「標本式」的文化觀看。
Thumbnail
長期以來,西方美學以《維特魯威人》式的幾何比例定義「完美身體」,這種視覺標準無形中成為殖民擴張與種族分類的暴力工具。本文透過分析奈及利亞編舞家庫德斯.奧尼奎庫的舞作《轉轉生》,探討當代非洲舞蹈如何跳脫「標本式」的文化觀看。
Thumbnail
若說易卜生的《玩偶之家》為 19 世紀的女性,開啟了一扇離家的窄門,那麼《海妲.蓋柏樂》展現的便是門後的窒息世界。本篇文章由劇場演員 Amily 執筆,同為熟稔文本的演員,亦是深刻體察制度縫隙的當代女性,此文所看見的不僅僅是崩壞前夕的最後發聲,更是女人被迫置於冷酷的制度之下,步步陷入無以言說的困境。
Thumbnail
若說易卜生的《玩偶之家》為 19 世紀的女性,開啟了一扇離家的窄門,那麼《海妲.蓋柏樂》展現的便是門後的窒息世界。本篇文章由劇場演員 Amily 執筆,同為熟稔文本的演員,亦是深刻體察制度縫隙的當代女性,此文所看見的不僅僅是崩壞前夕的最後發聲,更是女人被迫置於冷酷的制度之下,步步陷入無以言說的困境。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News