ComfyUI研究 - 虛實轉換

生成式AI據說有衝擊到一些產業，其中比較憂心被取代的應該是繪師，過去他們採用草稿>線稿>彩稿的工作流程，往往需要花上數小時到數日才能完成一張作品，現在一堆AI繪圖玩家只是花數秒鐘輸入文字提示詞，AI就可以幫助完成剩下的工作，讓很多繪師擔心失去工作，此外還有作品被拿去學習的風險。

但是也有看到許多一些擁抱AI的繪師，早就將AI繪圖納入工作流程的一部份，人類只要負責草稿部份，線稿跟彩稿則交由AI生成，最後精修的部分則會藉由人工或是AI做進一步處理。

這一篇要搭建的是動漫圖片>寫實照片>動漫圖片的工作流，因為這種轉換是蠻常見的應用，但常見到的工作流都只會實現其中一項工作，而我想要一次達到兩項工作。

工作流

輸入影像及分析

下圖是處理輸入影像的工作區域。

這邊採用了ControlNet Canny去控制生成圖像的線條構圖。

為了維持生成圖像的尺寸一致性，使用了Upscale Image將來源圖片裁切為512*768供其他節點使用。

WD14 Tagger分析畫面元素輸出給文字提示詞使用，為了生成為彩色的照片，需要排除到一些導致畫面變黑白的提示詞如：monochrome, greyscale，可以看WD14 Tagger分析出來的提示詞去添加不要的提示詞。

Text Concatenate是合併不同文字提示詞使用的節點，在想要將文字提示詞分組時可以使用，如常用的生成品質提示詞就可以獨立為一個Text Box，會變動的文字提示詞就放在另一個Text Box，在這邊是直接將WD14 Tagger分析出來的提示詞拿來使用。

生成寫實照片

下圖的工作區域就是一般的KSampler工作流，為了畫面整潔隱藏了所有節點連接線。

在這個工作流中輸入了ControlNet處理後的positive Prompt，denoise跟CFG另外拉出浮點數值節點放在別的工作區域中，latent image則透過VAE Encode將來源圖像輸入，目的是在來源圖像為彩圖時可以維持色彩的一致性。

生成動漫風格圖片

下圖的工作區域處理的工作是生成動漫風格圖片。

這邊採用了上一步生成的寫實照片做為來源圖片。

使用Anime Lineart控制構圖。

Anime KSampler使用了動漫風格的文字提示詞。

生成圖片比對及參數調整

下圖為將來源圖像、生成圖像、模型選擇、CFG數值與Denoise數值放在一起。

如此一來只需要更換來源圖片與調整這個區域的數值，就可以直接執行生成而不用去管其他參數。

效果比較

輸入黑白線稿

輸入彩色動漫圖

輸入彩色寫實人像

小結

這次的工作流效果還是會受到選用的模型影響人物長相偏東方還是偏西方，但在使用時不用調整太多參數就可以生成與來源圖片相同構圖及色彩的圖像，還可以幫線稿上色，雖然要控制色彩需要加入其他節點，但是已經非常方便好用。