ComfyUI 研究 - 增加細節

更新於 2024/01/20閱讀時間約 4 分鐘

前言

先前藉由加入提示詞控制畫面內容與品質後,發現圖像放大後細節感覺糊糊的,這篇就要來測試幾個增加細節的方法,測試使用的工作流是基於A1111算法的工作流,且使用固定種子。

測試一:加入更多提示詞

下圖是跟之前一樣的提示詞使用A1111算法生成的圖片:

raw-image




  • 正向提示詞:(masterpiece),(best quality), cat, outdoor,
  • 負向提示詞:(worst quality:2), (low quality:2), (normal quality:2), text, watermark, nsfw,


下圖是加入更多提示詞到負向提示詞生成的圖片:

raw-image




  • 正向提示詞:(masterpiece),(best quality), cat, outdoor,
  • 負向提示詞:(worst quality:2), (low quality:2), (normal quality:2), text, watermark, nsfw, low res, low quality,


下圖是加入更多提示詞到正向提示詞生成的圖片:

raw-image




  • 正向提示詞:(masterpiece),(best quality), high res, high detailed, cat, outdoor,
  • 負向提示詞:(worst quality:2), (low quality:2), (normal quality:2), text, watermark, nsfw,


簡單測試下來,在負向提示詞加入更多提示詞可以提高些許畫質,在正向提示詞加入更多提示詞則可能直接改變畫面構圖,如果想要保持畫面一致性,增加提示詞的做法個人是不太推薦的。


測試二:直接生成更大的圖像

下圖是直接將生成圖像的尺寸從512x512改成1024x1024後生成的結果,可以發現構圖完全不同,而且畫質出現嚴重的降低,顯然這個做法不行。

raw-image



  • 圖像尺寸(Empty Latent Image):1024x1024
  • 正向提示詞:(masterpiece),(best quality), cat, outdoor,
  • 負向提示詞:(worst quality:2), (low quality:2), (normal quality:2), text, watermark, nsfw,


測試三:加入LORA

加入LORA的工作流

加入LORA的工作流

上圖的工作流中加入了一個節點:

  • LORALoadeModelOnly
raw-image

節點的左側小寫model要輸入其他模型,這次的工作流是直接將使用的大模型串接進來,右側大寫MODEL則是要輸出到其他節點,這次直接輸出到KSampler的model輸入點,使用的LORA為more_details,強度設定為1,生成的圖像如下:

raw-image

可以發現生成的圖像細節變得更加豐富,構圖變化也不大,想要提升畫面細節使用這個方法應該是最簡單的方式。


測試四:將小圖像放大後再次生成(Hire. Fix)

這個測試是搭建一個簡單的放大工作流,然後將測試三生成的圖像輸入到這個工作流中,再一次生成圖片,與WebUI的Hire. Fix是相同功用。

Upscale 工作流

Upscale 工作流

這個放大工作流由以下的Nodes組成:

  • KSampler
  • VAE Decode
  • Preview Image

不使用進階版的KSampler是因為沒有必要,且可以控制denoise(降噪)這項參數,這項參數太低畫面會產生其他雜點,太高會改變構圖,推薦從0.5開始調整。

生成的圖像如下,細節跟著圖像尺寸提升了。

raw-image


測試五:使用放大模型將小圖像放大

這個測試是搭建一個使用放大模型的工作流,然後將測試三生成的圖像輸入到這個工作流中,使用放大模型直接放大圖像,然後再把圖像縮小到想要的尺寸。

使用放大模型的工作流

使用放大模型的工作流

這個放大工作流由以下的Nodes組成:

  • Load Upscale Model
  • Upscale Image (using Model)
  • Upscale Image
  • Preview Image

因為直接使用放大的模型的關係,所以這個工作流沒有使用KSampler對圖像進行重繪,生成的圖像如下圖。

raw-image

這個圖像的感覺已經過度銳利,這是因為將放大的圖像直接縮小的結果。

小結

這篇測試了幾個方法,如果對細節沒有過度要求的話,使用LORA模型增加細節的方式已經夠用,且工作流還沒有變得過於複雜,如果想要大尺寸高清圖像的話,可以使用測試四跟測試五的方法,至於測試一增加提示詞的方法可以在未確定構圖的時期使用,但會讓提示詞變得更加複雜或是提示詞間產生衝突,測試二的方法則是完全不推薦,因為會受限於大模型訓練時使用的圖像大小,SD 1.x使用的是512x512,SDXL則是1024x1024,超過尺寸畫質會有明顯的降低。

avatar-img
7.1K會員
76內容數
AI的時代已經來臨
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Frank Hsu的沙龍 的其他內容
ComfyUI可以直接將WebUI(A1111算法)生成的圖像拉進介面讀取工作流與提示詞,但是會生成完成不同的圖像,為了讓圖像成果更加接近WebUI(A1111算法)生成的圖像,預設工作流中的部份Nodes需要被替換,且替換完要將一些參數改成A1111。
這篇是以預設工作流為基礎,加入提示詞去控制畫面,目的是控制生成圖像的主題跟提升品質。
這是為了搭建自己想要的工作流而開始的研究工作。
ComfyUI可以直接將WebUI(A1111算法)生成的圖像拉進介面讀取工作流與提示詞,但是會生成完成不同的圖像,為了讓圖像成果更加接近WebUI(A1111算法)生成的圖像,預設工作流中的部份Nodes需要被替換,且替換完要將一些參數改成A1111。
這篇是以預設工作流為基礎,加入提示詞去控制畫面,目的是控制生成圖像的主題跟提升品質。
這是為了搭建自己想要的工作流而開始的研究工作。
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
Thumbnail
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
Thumbnail
細胞研究發現:葡萄糖(Glucose)能影響黑色素細胞(Melanocytes)→抑制其製造黑色素的效能,減少黑色素→有利美白肌膚?...
Thumbnail
今天要分享的是這篇,研究貼紮與運動對於拇趾外翻患者的影響。這裡幫大家腦補一下,拇趾外翻很常見,特徵就是大拇趾看起來歪歪的,嚴重一點還會把大拇趾疊到第二趾上或下,在拇趾外側還可能突起一塊,臨床上真的有很多人因痛到走路的覺得很困難來求醫。
Thumbnail
測試:含有「南極髮草(Deschampsia antarctica)萃取+阿魏酸(ferulic acid)和維生素C」的精華液→對[生活在城市化高污染地區+並每天>2hrs待在戶外]的婦女皮膚,有何幫助──TEWL、黑斑&角鯊烯過氧化%?
Thumbnail
因老化而發生的皮膚乾燥現象,除了已知與玻尿酸、 神經醯胺和膠原蛋白的減少相關外──研究發現:水通道蛋白(Aquaporins, AQPs)的表現...是導致皮膚保濕度不足的主因...
Thumbnail
人體研究:三胜肽(INCI: Tetradecyl Aminobutyroylvalylaminobutyric Urea Trifluoroacetate)──誘導"玻尿酸"增生→填補皺紋、緊緻肌膚...
Thumbnail
讀到這則偷偷說,非常難過。雖然這則偷偷說底下的大家目前留言都好溫暖,但看見越多人訴說自己的經驗,就又更加難受。 碩士論文題目恰巧與性侵倖存者有關,聚焦在約會關係性侵害上。
Thumbnail
在猴抱貓事件之後雖然獲得關注跟媒體的報導,當時卻還未有創立吱吱黨的想法,直到壽山台灣獼猴因研究用的無線電發報器導致頸部不適、受傷,才點燃了抗爭與「台灣獼猴吱吱黨」的創立。
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
ComfyUI教學第二階段之[LoRA&Embeddings],本篇介紹如何套用lora、調用embeddings,這個階段一共會分成三部影片、三篇文字版。
Thumbnail
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
Thumbnail
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
Thumbnail
細胞研究發現:葡萄糖(Glucose)能影響黑色素細胞(Melanocytes)→抑制其製造黑色素的效能,減少黑色素→有利美白肌膚?...
Thumbnail
今天要分享的是這篇,研究貼紮與運動對於拇趾外翻患者的影響。這裡幫大家腦補一下,拇趾外翻很常見,特徵就是大拇趾看起來歪歪的,嚴重一點還會把大拇趾疊到第二趾上或下,在拇趾外側還可能突起一塊,臨床上真的有很多人因痛到走路的覺得很困難來求醫。
Thumbnail
測試:含有「南極髮草(Deschampsia antarctica)萃取+阿魏酸(ferulic acid)和維生素C」的精華液→對[生活在城市化高污染地區+並每天>2hrs待在戶外]的婦女皮膚,有何幫助──TEWL、黑斑&角鯊烯過氧化%?
Thumbnail
因老化而發生的皮膚乾燥現象,除了已知與玻尿酸、 神經醯胺和膠原蛋白的減少相關外──研究發現:水通道蛋白(Aquaporins, AQPs)的表現...是導致皮膚保濕度不足的主因...
Thumbnail
人體研究:三胜肽(INCI: Tetradecyl Aminobutyroylvalylaminobutyric Urea Trifluoroacetate)──誘導"玻尿酸"增生→填補皺紋、緊緻肌膚...
Thumbnail
讀到這則偷偷說,非常難過。雖然這則偷偷說底下的大家目前留言都好溫暖,但看見越多人訴說自己的經驗,就又更加難受。 碩士論文題目恰巧與性侵倖存者有關,聚焦在約會關係性侵害上。
Thumbnail
在猴抱貓事件之後雖然獲得關注跟媒體的報導,當時卻還未有創立吱吱黨的想法,直到壽山台灣獼猴因研究用的無線電發報器導致頸部不適、受傷,才點燃了抗爭與「台灣獼猴吱吱黨」的創立。