修正細節:Inpaint + Tile Resample - Stable Diffusion

閱讀時間約 2 分鐘
  這篇心得Automatic1111 (A1111)/ Vlad Diffusion (Vlad)介面通用。
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的。如果是人物角色的話,最常出現不滿意的地方就是五官、手指等部位,這時就會需要把「近完成品」圖片導入「Inpaint」中,只重新運算需要修正的部位。
本次心得的範例圖,原圖是 2048 x 2048

Inpaint基本設定

  這次範例使用的設定如下圖所示:
圖中紅框說明:
Inpaint masked = 最後呈現的結果只修改有遮罩的部分
Only masked = 只運算遮罩的部分
1024、512 = 因為只運算遮罩的部分,所以這裡的長(Width)高(Height)數值只要考慮遮罩的大小和形狀。
*請注意:無論畫了多少個遮罩區塊,運算時都會視為一個整體,長x高的調整也是根據整體判斷。
遮罩就是塗黑的地方 - 請注意:是直接在Stable Diffusion中塗黑。
另外,Inpaint時-Prompts(負面提示詞)可以保留,但+Prompts(正面提示詞)不需要保留原本的--不如說不保留原本的才是正確的作法,例如我這次調整眼睛時使用的+Prompts如下:
簡單有力
即便如此,Inpaint時也往往需要碰運氣,而且Denoising Strength數值太小修正不了多少,可數值達到0.5以上又常常矯枉過正,例如下面的情況:
這已經超出整形範疇,而是換了大一倍的兩顆眼珠。
這時ControlNet 1.1版提供的Tile Resample就派上用場了。

Tile Resample

在測試過幾種Tile Resample/ControlNet的設定後,最終我採用的設定如下:
Control Weight從預設的1下調至0.5,讓Stable Diffusion有更多的自由度。
Down Sampling Rate則拉至最高的8,也是為了提高自由度。
最終成果如下:
成功提升眼珠細節又不失原本眼形
最後附上整張圖:
Tile Resample的更多相關資訊,請參閱我撰寫的另一篇心得
為什麼會看到廣告
82會員
104Content count
筆者探索AI工具時遇到的難題、解方和雜談,不定期更新。
留言0
查看全部
發表第一個留言支持創作者!
黑米BR的沙龍 的其他內容
ControlNet發布了1.1新版本,新增了許多不同的model,本文介紹運算大圖時非常好用的Tile Resample model。
本心得介紹MultiDiffusion with Tiled VAE插件以及通用的提升效能設定。
Vlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion時,常會遇到一個令我困擾的問題----紫色斑塊。
Textual Inversion embedding   玩過Stable Diffusion(下以SD略稱之),並且有前往CIVITAI等網站下載其他人訓練的AI模型的玩家......
本教學使用Automatic 1111介面   AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。
ControlNet發布了1.1新版本,新增了許多不同的model,本文介紹運算大圖時非常好用的Tile Resample model。
本心得介紹MultiDiffusion with Tiled VAE插件以及通用的提升效能設定。
Vlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion時,常會遇到一個令我困擾的問題----紫色斑塊。
Textual Inversion embedding   玩過Stable Diffusion(下以SD略稱之),並且有前往CIVITAI等網站下載其他人訓練的AI模型的玩家......
本教學使用Automatic 1111介面   AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。
你可能也想看
Thumbnail
重點摘要: 1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息 2.SEP 上修失業率預期,但快速的降息速率將有助失業率觸頂 3.未來幾個月經濟數據將繼續轉弱,經濟復甦的時點或是 1Q25 季底附近
Thumbnail
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
Thumbnail
#魔法系畫家第254天 #心靈上的修正通常是透過痛苦的經驗來完成的 這兩天一樣是好好工作好好生活😄 但沒有什麼特別的事要分享~ 心裡想那就幫大家抽個牌 提供給需要的你喔🧡 這張是神諭卡51號「清除內疚感」 ✅現況概論:因為過去造成傷害
Thumbnail
《之前的我們》以人生抉擇溫柔地回應了這個大哉問,一段關係的修成,也必然暗藏著一段關係的離去。正如諾拉、亞瑟、海聖三人的關係。
Thumbnail
歷經多次起事,被流放隠岐島的後醍醐天皇逃出後,得到了伯耆名和一族的支持,足利尊氏與新田義貞率領的倒幕軍也分別在近畿與關東打敗了六波羅探題與鎌倉幕府的軍隊。自源賴朝就任征夷大將軍以來,統治日本長達150年的鎌倉幕府以及鎌倉時代就此劃下句點。後醍醐天皇終於能夠一掌朝政,大刀闊斧地進行改革。
Thumbnail
嘿,今天我想談談一個非常接近核心的主題,對於 你們中的許多人來說,停止右曲球的三個關鍵, 所以當你早上醒來去打高爾夫球時,沒有比這更好的感覺了, 所以你會去打球。好吧,沒有什麼比在球道上打出好球更好的感覺了,幾年前我很沮喪,因為我迷失了,我很困惑,我很沮喪,然後我遇到了Moe Norman莫諾曼,並
Thumbnail
這是標普五美股乃至全球經濟的主跌段已在路上,雖然此時此刻ㄧ般人對即將要到來的大衰退沒有感覺,不過套句經典名言『歷史不會重演,但總會驚人的相似』
Thumbnail
以下為一位有緣人分享: 我沒有因為勤跑宮廟而讓人生一帆風順,反而一事無成;為了生活打拼賺錢,疲於奔命,自然是將健康給賠上了;孩子更是沒時間管教,錯過黃金教育期;自己也沒有修好,召感更多外道來干擾,常常因為被干擾而暈倒,體驗瀕臨死亡的感覺,好幾次差點兒沒命,全身痠痛更是有增無減,人生過得非常痛苦。
總統令 中 華 民 國 1 1 0 年 6 月 1 6 日 華 總 一 義 字 第 1 1 0 0 0 0 5 5 3 3 1 號 茲增訂行政訴訟法第一百九十四條之一條文;並修正第五十七條、 第五十九條、第七十三條、第八十二條、第八十三條、第九十八條 之六、第一百三十條之一、第一百七十六條、第二百零
Thumbnail
重點摘要: 1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息 2.SEP 上修失業率預期,但快速的降息速率將有助失業率觸頂 3.未來幾個月經濟數據將繼續轉弱,經濟復甦的時點或是 1Q25 季底附近
Thumbnail
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
Thumbnail
#魔法系畫家第254天 #心靈上的修正通常是透過痛苦的經驗來完成的 這兩天一樣是好好工作好好生活😄 但沒有什麼特別的事要分享~ 心裡想那就幫大家抽個牌 提供給需要的你喔🧡 這張是神諭卡51號「清除內疚感」 ✅現況概論:因為過去造成傷害
Thumbnail
《之前的我們》以人生抉擇溫柔地回應了這個大哉問,一段關係的修成,也必然暗藏著一段關係的離去。正如諾拉、亞瑟、海聖三人的關係。
Thumbnail
歷經多次起事,被流放隠岐島的後醍醐天皇逃出後,得到了伯耆名和一族的支持,足利尊氏與新田義貞率領的倒幕軍也分別在近畿與關東打敗了六波羅探題與鎌倉幕府的軍隊。自源賴朝就任征夷大將軍以來,統治日本長達150年的鎌倉幕府以及鎌倉時代就此劃下句點。後醍醐天皇終於能夠一掌朝政,大刀闊斧地進行改革。
Thumbnail
嘿,今天我想談談一個非常接近核心的主題,對於 你們中的許多人來說,停止右曲球的三個關鍵, 所以當你早上醒來去打高爾夫球時,沒有比這更好的感覺了, 所以你會去打球。好吧,沒有什麼比在球道上打出好球更好的感覺了,幾年前我很沮喪,因為我迷失了,我很困惑,我很沮喪,然後我遇到了Moe Norman莫諾曼,並
Thumbnail
這是標普五美股乃至全球經濟的主跌段已在路上,雖然此時此刻ㄧ般人對即將要到來的大衰退沒有感覺,不過套句經典名言『歷史不會重演,但總會驚人的相似』
Thumbnail
以下為一位有緣人分享: 我沒有因為勤跑宮廟而讓人生一帆風順,反而一事無成;為了生活打拼賺錢,疲於奔命,自然是將健康給賠上了;孩子更是沒時間管教,錯過黃金教育期;自己也沒有修好,召感更多外道來干擾,常常因為被干擾而暈倒,體驗瀕臨死亡的感覺,好幾次差點兒沒命,全身痠痛更是有增無減,人生過得非常痛苦。
總統令 中 華 民 國 1 1 0 年 6 月 1 6 日 華 總 一 義 字 第 1 1 0 0 0 0 5 5 3 3 1 號 茲增訂行政訴訟法第一百九十四條之一條文;並修正第五十七條、 第五十九條、第七十三條、第八十二條、第八十三條、第九十八條 之六、第一百三十條之一、第一百七十六條、第二百零