ComfyUI研究 - 虛實轉換

更新於 發佈於 閱讀時間約 2 分鐘
raw-image


生成式AI據說有衝擊到一些產業,其中比較憂心被取代的應該是繪師,過去他們採用草稿>線稿>彩稿的工作流程,往往需要花上數小時到數日才能完成一張作品,現在一堆AI繪圖玩家只是花數秒鐘輸入文字提示詞,AI就可以幫助完成剩下的工作,讓很多繪師擔心失去工作,此外還有作品被拿去學習的風險。

但是也有看到許多一些擁抱AI的繪師,早就將AI繪圖納入工作流程的一部份,人類只要負責草稿部份,線稿跟彩稿則交由AI生成,最後精修的部分則會藉由人工或是AI做進一步處理。

這一篇要搭建的是動漫圖片>寫實照片>動漫圖片的工作流,因為這種轉換是蠻常見的應用,但常見到的工作流都只會實現其中一項工作,而我想要一次達到兩項工作。


工作流

輸入影像及分析

下圖是處理輸入影像的工作區域。

raw-image

這邊採用了ControlNet Canny去控制生成圖像的線條構圖。

為了維持生成圖像的尺寸一致性,使用了Upscale Image將來源圖片裁切為512*768供其他節點使用。

WD14 Tagger分析畫面元素輸出給文字提示詞使用,為了生成為彩色的照片,需要排除到一些導致畫面變黑白的提示詞如:monochrome, greyscale,可以看WD14 Tagger分析出來的提示詞去添加不要的提示詞。

Text Concatenate是合併不同文字提示詞使用的節點,在想要將文字提示詞分組時可以使用,如常用的生成品質提示詞就可以獨立為一個Text Box,會變動的文字提示詞就放在另一個Text Box,在這邊是直接將WD14 Tagger分析出來的提示詞拿來使用。


生成寫實照片

下圖的工作區域就是一般的KSampler工作流,為了畫面整潔隱藏了所有節點連接線。

raw-image

在這個工作流中輸入了ControlNet處理後的positive Prompt,denoise跟CFG另外拉出浮點數值節點放在別的工作區域中,latent image則透過VAE Encode將來源圖像輸入,目的是在來源圖像為彩圖時可以維持色彩的一致性。


生成動漫風格圖片

下圖的工作區域處理的工作是生成動漫風格圖片。

raw-image

這邊採用了上一步生成的寫實照片做為來源圖片。

使用Anime Lineart控制構圖。

Anime KSampler使用了動漫風格的文字提示詞。


生成圖片比對及參數調整

下圖為將來源圖像、生成圖像、模型選擇、CFG數值與Denoise數值放在一起。

raw-image

如此一來只需要更換來源圖片與調整這個區域的數值,就可以直接執行生成而不用去管其他參數。


效果比較

輸入黑白線稿

raw-image


輸入彩色動漫圖

raw-image


輸入彩色寫實人像

raw-image


小結

這次的工作流效果還是會受到選用的模型影響人物長相偏東方還是偏西方,但在使用時不用調整太多參數就可以生成與來源圖片相同構圖及色彩的圖像,還可以幫線稿上色,雖然要控制色彩需要加入其他節點,但是已經非常方便好用。

留言
avatar-img
留言分享你的想法!
avatar-img
Frank Plaza
9.9K會員
88內容數
AI的時代已經來臨
Frank Plaza的其他內容
2024/04/02
測試一下InstantID
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/03/31
IPAdapter節點重大更新,要不要更新呢?
Thumbnail
2024/03/31
IPAdapter節點重大更新,要不要更新呢?
Thumbnail
看更多
你可能也想看
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
上圖是根據彩色故事腳本生成的照片與草圖。 運用圖生圖的原理,把AI視覺故事腳本的其中一個畫面。擷取出來。 輸入重新繪製這張圖片 AI 會自然根據草圖,重新繪製元素一樣的精細畫面。
Thumbnail
上圖是根據彩色故事腳本生成的照片與草圖。 運用圖生圖的原理,把AI視覺故事腳本的其中一個畫面。擷取出來。 輸入重新繪製這張圖片 AI 會自然根據草圖,重新繪製元素一樣的精細畫面。
Thumbnail
運用生成的AI圖像來激發視覺和創意,無論是生成素材、用在社交媒體上,這些圖像都能為你的的視覺帶來獨特的風格。
Thumbnail
運用生成的AI圖像來激發視覺和創意,無論是生成素材、用在社交媒體上,這些圖像都能為你的的視覺帶來獨特的風格。
Thumbnail
在學習描寫文的過程中,將思維視覺化是一個重要的教學策略。通過使用AI生成圖片功能,教師能夠幫助學生將抽象的描述轉化為具體的圖像。
Thumbnail
在學習描寫文的過程中,將思維視覺化是一個重要的教學策略。通過使用AI生成圖片功能,教師能夠幫助學生將抽象的描述轉化為具體的圖像。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
AI生成動漫圖片 爆出資料庫中有真人兒色
Thumbnail
AI生成動漫圖片 爆出資料庫中有真人兒色
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
結合不同AI軟體,無論「文本敘述生圖」、「以圖繪圖」、「AI局部改圖」,多多嘗試,才能得到更好的結果,玩得開心,結果自然愉快。 先用Canva「Text to image」勾勒出人體崩壞圖,它畫面構圖仍是好的,再用Unidream「文本描述生圖」上傳參考圖並輸入文字指示,立馬正常許多
Thumbnail
結合不同AI軟體,無論「文本敘述生圖」、「以圖繪圖」、「AI局部改圖」,多多嘗試,才能得到更好的結果,玩得開心,結果自然愉快。 先用Canva「Text to image」勾勒出人體崩壞圖,它畫面構圖仍是好的,再用Unidream「文本描述生圖」上傳參考圖並輸入文字指示,立馬正常許多
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News