ComfyUI研究 - 虛實轉換

更新 發佈閱讀 2 分鐘
raw-image


生成式AI據說有衝擊到一些產業,其中比較憂心被取代的應該是繪師,過去他們採用草稿>線稿>彩稿的工作流程,往往需要花上數小時到數日才能完成一張作品,現在一堆AI繪圖玩家只是花數秒鐘輸入文字提示詞,AI就可以幫助完成剩下的工作,讓很多繪師擔心失去工作,此外還有作品被拿去學習的風險。

但是也有看到許多一些擁抱AI的繪師,早就將AI繪圖納入工作流程的一部份,人類只要負責草稿部份,線稿跟彩稿則交由AI生成,最後精修的部分則會藉由人工或是AI做進一步處理。

這一篇要搭建的是動漫圖片>寫實照片>動漫圖片的工作流,因為這種轉換是蠻常見的應用,但常見到的工作流都只會實現其中一項工作,而我想要一次達到兩項工作。


工作流

輸入影像及分析

下圖是處理輸入影像的工作區域。

raw-image

這邊採用了ControlNet Canny去控制生成圖像的線條構圖。

為了維持生成圖像的尺寸一致性,使用了Upscale Image將來源圖片裁切為512*768供其他節點使用。

WD14 Tagger分析畫面元素輸出給文字提示詞使用,為了生成為彩色的照片,需要排除到一些導致畫面變黑白的提示詞如:monochrome, greyscale,可以看WD14 Tagger分析出來的提示詞去添加不要的提示詞。

Text Concatenate是合併不同文字提示詞使用的節點,在想要將文字提示詞分組時可以使用,如常用的生成品質提示詞就可以獨立為一個Text Box,會變動的文字提示詞就放在另一個Text Box,在這邊是直接將WD14 Tagger分析出來的提示詞拿來使用。


生成寫實照片

下圖的工作區域就是一般的KSampler工作流,為了畫面整潔隱藏了所有節點連接線。

raw-image

在這個工作流中輸入了ControlNet處理後的positive Prompt,denoise跟CFG另外拉出浮點數值節點放在別的工作區域中,latent image則透過VAE Encode將來源圖像輸入,目的是在來源圖像為彩圖時可以維持色彩的一致性。


生成動漫風格圖片

下圖的工作區域處理的工作是生成動漫風格圖片。

raw-image

這邊採用了上一步生成的寫實照片做為來源圖片。

使用Anime Lineart控制構圖。

Anime KSampler使用了動漫風格的文字提示詞。


生成圖片比對及參數調整

下圖為將來源圖像、生成圖像、模型選擇、CFG數值與Denoise數值放在一起。

raw-image

如此一來只需要更換來源圖片與調整這個區域的數值,就可以直接執行生成而不用去管其他參數。


效果比較

輸入黑白線稿

raw-image


輸入彩色動漫圖

raw-image


輸入彩色寫實人像

raw-image


小結

這次的工作流效果還是會受到選用的模型影響人物長相偏東方還是偏西方,但在使用時不用調整太多參數就可以生成與來源圖片相同構圖及色彩的圖像,還可以幫線稿上色,雖然要控制色彩需要加入其他節點,但是已經非常方便好用。

留言
avatar-img
Frank Plaza
13.2K會員
89內容數
AI的時代已經來臨
Frank Plaza的其他內容
2024/04/02
測試一下InstantID
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/03/31
IPAdapter節點重大更新,要不要更新呢?
Thumbnail
2024/03/31
IPAdapter節點重大更新,要不要更新呢?
Thumbnail
看更多
你可能也想看
Thumbnail
在 vocus 與你一起探索內容、發掘靈感的路上,我們又將啟動新的冒險——vocus App 正式推出! 現在起,你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔,或一天結束後的放鬆時刻,都能自在沈浸在內容宇宙中。
Thumbnail
在 vocus 與你一起探索內容、發掘靈感的路上,我們又將啟動新的冒險——vocus App 正式推出! 現在起,你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔,或一天結束後的放鬆時刻,都能自在沈浸在內容宇宙中。
Thumbnail
vocus 慶祝推出 App,舉辦 2026 全站慶。推出精選內容與數位商品折扣,訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包,以及全站徵文,並邀請你一起來回顧過去的一年, vocus 與創作者共同留下了哪些精彩創作。
Thumbnail
vocus 慶祝推出 App,舉辦 2026 全站慶。推出精選內容與數位商品折扣,訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包,以及全站徵文,並邀請你一起來回顧過去的一年, vocus 與創作者共同留下了哪些精彩創作。
Thumbnail
上圖是根據彩色故事腳本生成的照片與草圖。 運用圖生圖的原理,把AI視覺故事腳本的其中一個畫面。擷取出來。 輸入重新繪製這張圖片 AI 會自然根據草圖,重新繪製元素一樣的精細畫面。
Thumbnail
上圖是根據彩色故事腳本生成的照片與草圖。 運用圖生圖的原理,把AI視覺故事腳本的其中一個畫面。擷取出來。 輸入重新繪製這張圖片 AI 會自然根據草圖,重新繪製元素一樣的精細畫面。
Thumbnail
運用生成的AI圖像來激發視覺和創意,無論是生成素材、用在社交媒體上,這些圖像都能為你的的視覺帶來獨特的風格。
Thumbnail
運用生成的AI圖像來激發視覺和創意,無論是生成素材、用在社交媒體上,這些圖像都能為你的的視覺帶來獨特的風格。
Thumbnail
在學習描寫文的過程中,將思維視覺化是一個重要的教學策略。通過使用AI生成圖片功能,教師能夠幫助學生將抽象的描述轉化為具體的圖像。
Thumbnail
在學習描寫文的過程中,將思維視覺化是一個重要的教學策略。通過使用AI生成圖片功能,教師能夠幫助學生將抽象的描述轉化為具體的圖像。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
AI生成動漫圖片 爆出資料庫中有真人兒色
Thumbnail
AI生成動漫圖片 爆出資料庫中有真人兒色
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
結合不同AI軟體,無論「文本敘述生圖」、「以圖繪圖」、「AI局部改圖」,多多嘗試,才能得到更好的結果,玩得開心,結果自然愉快。 先用Canva「Text to image」勾勒出人體崩壞圖,它畫面構圖仍是好的,再用Unidream「文本描述生圖」上傳參考圖並輸入文字指示,立馬正常許多
Thumbnail
結合不同AI軟體,無論「文本敘述生圖」、「以圖繪圖」、「AI局部改圖」,多多嘗試,才能得到更好的結果,玩得開心,結果自然愉快。 先用Canva「Text to image」勾勒出人體崩壞圖,它畫面構圖仍是好的,再用Unidream「文本描述生圖」上傳參考圖並輸入文字指示,立馬正常許多
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
Thumbnail
這是一個簡單的工作流,可以對輸入的圖片進行3D重建
Thumbnail
AI圖形工具 今天分享一些常用的AI圖形工具。現在的圖形工具非常多,不可能全部都熟悉,因為真的太多了。所以介紹幾個比較常用的工具來供參考。算是我工作室的員工。 取代部分繪圖的工作 AI圖形工具基本上可以取代一部分繪圖的工作。就像速寫一樣,本身長年在畫速寫,但再怎麼說速度也不會比AI生成圖片來得
Thumbnail
AI圖形工具 今天分享一些常用的AI圖形工具。現在的圖形工具非常多,不可能全部都熟悉,因為真的太多了。所以介紹幾個比較常用的工具來供參考。算是我工作室的員工。 取代部分繪圖的工作 AI圖形工具基本上可以取代一部分繪圖的工作。就像速寫一樣,本身長年在畫速寫,但再怎麼說速度也不會比AI生成圖片來得
Thumbnail
這篇是以預設工作流為基礎,加入提示詞去控制畫面,目的是控制生成圖像的主題跟提升品質。
Thumbnail
這篇是以預設工作流為基礎,加入提示詞去控制畫面,目的是控制生成圖像的主題跟提升品質。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News