修正細節:Inpaint + Tile Resample - Stable Diffusion

更新於 發佈於 閱讀時間約 2 分鐘
  這篇心得Automatic1111 (A1111)/ Vlad Diffusion (Vlad)介面通用。
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的。如果是人物角色的話,最常出現不滿意的地方就是五官、手指等部位,這時就會需要把「近完成品」圖片導入「Inpaint」中,只重新運算需要修正的部位。
本次心得的範例圖,原圖是 2048 x 2048

Inpaint基本設定

  這次範例使用的設定如下圖所示:
圖中紅框說明:
Inpaint masked = 最後呈現的結果只修改有遮罩的部分
Only masked = 只運算遮罩的部分
1024、512 = 因為只運算遮罩的部分,所以這裡的長(Width)高(Height)數值只要考慮遮罩的大小和形狀。
*請注意:無論畫了多少個遮罩區塊,運算時都會視為一個整體,長x高的調整也是根據整體判斷。
遮罩就是塗黑的地方 - 請注意:是直接在Stable Diffusion中塗黑。
另外,Inpaint時-Prompts(負面提示詞)可以保留,但+Prompts(正面提示詞)不需要保留原本的--不如說不保留原本的才是正確的作法,例如我這次調整眼睛時使用的+Prompts如下:
簡單有力
即便如此,Inpaint時也往往需要碰運氣,而且Denoising Strength數值太小修正不了多少,可數值達到0.5以上又常常矯枉過正,例如下面的情況:
這已經超出整形範疇,而是換了大一倍的兩顆眼珠。
這時ControlNet 1.1版提供的Tile Resample就派上用場了。

Tile Resample

在測試過幾種Tile Resample/ControlNet的設定後,最終我採用的設定如下:
Control Weight從預設的1下調至0.5,讓Stable Diffusion有更多的自由度。
Down Sampling Rate則拉至最高的8,也是為了提高自由度。
最終成果如下:
成功提升眼珠細節又不失原本眼形
最後附上整張圖:
Tile Resample的更多相關資訊,請參閱我撰寫的另一篇心得
為什麼會看到廣告
avatar-img
82會員
104內容數
筆者探索各種感興趣事物的紀錄。 *副帳非主流政治沙龍《黑米BR不政確》:https://vocus.cc/salon/BRiceP
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
黑米BR的沙龍 的其他內容
ControlNet發布了1.1新版本,新增了許多不同的model,本文介紹運算大圖時非常好用的Tile Resample model。
本心得介紹MultiDiffusion with Tiled VAE插件以及通用的提升效能設定。
Vlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion時,常會遇到一個令我困擾的問題----紫色斑塊。
Textual Inversion embedding   玩過Stable Diffusion(下以SD略稱之),並且有前往CIVITAI等網站下載其他人訓練的AI模型的玩家......
本教學使用Automatic 1111介面   AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。
ControlNet發布了1.1新版本,新增了許多不同的model,本文介紹運算大圖時非常好用的Tile Resample model。
本心得介紹MultiDiffusion with Tiled VAE插件以及通用的提升效能設定。
Vlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion時,常會遇到一個令我困擾的問題----紫色斑塊。
Textual Inversion embedding   玩過Stable Diffusion(下以SD略稱之),並且有前往CIVITAI等網站下載其他人訓練的AI模型的玩家......
本教學使用Automatic 1111介面   AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。
你可能也想看
Google News 追蹤
Thumbnail
最近國泰世華CUBE App推出的「美股定期定額」功能,讓使用者可以方便地進行跨境理財(但讀者仍需根據自身需求審慎考量),除了享有美股定期定額的新功能,也同時享有台股定期定額的功能,可以一站滿足我們理財的需求! 透過國泰世華CUBE App線上開台股證券戶+複委託戶,流程最快僅需要5分鐘。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
近期畫人像變多了,構圖是一方面,難的我覺得還是色彩的選擇,因為色彩搭配是滿複雜的一個系統,老師通常都可以選很多我不敢用的顏色,調出來的效果也很好。
Thumbnail
最近在嘗試使用不同的AI生圖方式混合出圖的方式,採用A平台的優點,並用B平台後製的手法截長補短,創造出自己更想要的小說場景,效果不錯,現在以這張圖為例,來講一下我的製作步驟。
Thumbnail
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具,讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹: 功能和優點 自動化視頻轉換: Mov2Mov 可以自動化視頻到
Thumbnail
Ae 小技巧:Adjustment Layer 調整圖層 動態後記系列會記錄一些我在製作中的記錄,可能是分解動畫、小技巧、發想、腳本......等等。 每篇都是小短篇,就是補充用的小筆記,沒有前後順序,可跳著閱讀。
本文介紹了在深度學習中使用Batch Normalization來解決error surface複雜性的問題。通過特徵歸一化來加速收斂速度和訓練順利程度。同時,也提到了在測試階段使用moving average計算平均值和標準差的方法。
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
Tensor Art 使用 Stable Diffusion 的各種模型,也能使用ControlNet 和 LoRA功能,根據使用者的輸入來文生圖、圖生圖,生成各種風格的高質量圖像,包括人像、動人的風景、創意的抽象畫等。
Thumbnail
這篇要來分享一下學習了一些攝影的知識後,用於改良AI生圖的經驗。 AI生圖可以藉由少少的幾個句子產生出非常美麗的圖片,事實上,很多時候AI生圖的極限是卡在人類使用者的想像力之下。
Thumbnail
https://huggingface.co/spaces/fffiloni/PASD 這個圖像修復的效果跟變魔術似的。他甚至可以將你奶奶上個世紀的模糊黑白照片,直接修復成眉清目秀的女神。 這個AI圖像修復和增強工具,用到的是最新推出的PASD技術。用起來也超簡單,上傳你要修復的照片,然後填寫正
Thumbnail
這篇要來分享使用Stable Diffusion加上拼貼擴展技巧如何製作自己想要的情境圖。以用於日後的小說封面
Thumbnail
最近國泰世華CUBE App推出的「美股定期定額」功能,讓使用者可以方便地進行跨境理財(但讀者仍需根據自身需求審慎考量),除了享有美股定期定額的新功能,也同時享有台股定期定額的功能,可以一站滿足我們理財的需求! 透過國泰世華CUBE App線上開台股證券戶+複委託戶,流程最快僅需要5分鐘。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
近期畫人像變多了,構圖是一方面,難的我覺得還是色彩的選擇,因為色彩搭配是滿複雜的一個系統,老師通常都可以選很多我不敢用的顏色,調出來的效果也很好。
Thumbnail
最近在嘗試使用不同的AI生圖方式混合出圖的方式,採用A平台的優點,並用B平台後製的手法截長補短,創造出自己更想要的小說場景,效果不錯,現在以這張圖為例,來講一下我的製作步驟。
Thumbnail
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具,讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹: 功能和優點 自動化視頻轉換: Mov2Mov 可以自動化視頻到
Thumbnail
Ae 小技巧:Adjustment Layer 調整圖層 動態後記系列會記錄一些我在製作中的記錄,可能是分解動畫、小技巧、發想、腳本......等等。 每篇都是小短篇,就是補充用的小筆記,沒有前後順序,可跳著閱讀。
本文介紹了在深度學習中使用Batch Normalization來解決error surface複雜性的問題。通過特徵歸一化來加速收斂速度和訓練順利程度。同時,也提到了在測試階段使用moving average計算平均值和標準差的方法。
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
Tensor Art 使用 Stable Diffusion 的各種模型,也能使用ControlNet 和 LoRA功能,根據使用者的輸入來文生圖、圖生圖,生成各種風格的高質量圖像,包括人像、動人的風景、創意的抽象畫等。
Thumbnail
這篇要來分享一下學習了一些攝影的知識後,用於改良AI生圖的經驗。 AI生圖可以藉由少少的幾個句子產生出非常美麗的圖片,事實上,很多時候AI生圖的極限是卡在人類使用者的想像力之下。
Thumbnail
https://huggingface.co/spaces/fffiloni/PASD 這個圖像修復的效果跟變魔術似的。他甚至可以將你奶奶上個世紀的模糊黑白照片,直接修復成眉清目秀的女神。 這個AI圖像修復和增強工具,用到的是最新推出的PASD技術。用起來也超簡單,上傳你要修復的照片,然後填寫正
Thumbnail
這篇要來分享使用Stable Diffusion加上拼貼擴展技巧如何製作自己想要的情境圖。以用於日後的小說封面