Stable Diffusion基礎 -- 局部重繪的應用

更新於 發佈於 閱讀時間約 6 分鐘

前言

本篇來講各種不同的局部重繪(Inpaint)設定適合用在哪些情況。

目前局部重繪提供四種不同的填充內容(Masked content):fill,original,latent noise,latent nothing,這四種方法填充的東西都不一樣,綜觀來說,在實際重繪時,他們各有不同的適用情況,下面是根據我本人的經驗歸納的用法:

  • fill:大規模置換
  • original:根據原圖做修正
  • latent noise:完全重繪
  • latent nothing:移除物品

下面就用一些例子來解釋實際碰上的情況與解法。


Masked content:fill

fill選項會將重繪區域的圖最大模糊化,只保留大致的結構跟色彩,所以在大規模置換物品時會用到(但其實,大部分情況用original就綽綽有餘,只有在一些區域巨大的地方會比較有用。)例如下面這個情況:角色正在走上樓梯,但由於角色佔比非常巨大,所以被切割成左右兩邊的樓梯變成了兩個毫無關聯的樓梯,不只是明暗面不同,連級數都不一樣:

fill範例,置換樓梯

fill範例,置換樓梯

這時候就要把左右兩邊的樓梯都選起來,然後用fill配上whole picture以及大約0.5的Denoising strength來修復,配上合適的提示詞,就有很大的機率在十張圖的範圍內算出被修復的樓梯。

fill範例設定

fill範例設定

這種方法通常適用於各種同一結構體不對齊,或者被切割之後變成兩個不同物件的修復。


Masked content:original

original選項應該是最常用的,該選項完全不變動被選取的內容,只靠Denoising strength增加的噪點來修改圖像,所以在低Denosing strength時就可以得到很類似原圖的結構、色彩與風格。我在另一篇文章中大量運用了oirginal選項來改動畫作,可以當作參考:

Stable Diffusion練習,我們子孫的未來(一)

在本篇文章,我以改動角色的服裝為例,因為我想要將角色的裙子改顏色風格,但是不希望改變它的外型,所以可以將它的臀部以下的部分全部圈選起來,然後改變提示詞為(long blue dress with starry decoration and gem),配合ControlNet的Reference_only對標原始參考圖,加上大量的抽圖做出自己喜歡的裙子款式。

因為我沒有使用其他的ControlNet功能來固定角色的姿勢或邊緣線條,所以臀部與腳的姿勢也會一起變動。

original範例,置換裙子

original範例,置換裙子

在設定這邊,除了選取original之外,Inpaint area選擇Whole picture可以保證它整張圖光影與色調一致。同時使用Denosing strength在0.65,是能改變最多內容但勉強能保持結構不變的極限值。大約在抽了15張圖後找到自己喜歡的成果。

original範例設定

original範例設定

另外,在人體結構很清晰的情況下,還可以靠著ControlNet做出更強力但不影響人體結構的改動,詳情請參考:

Stable Diffusion進階 -- 穿衣換衣術


Masked content:latent noise

latent noise會在改動的範圍內依照seed的值撒上高斯分佈噪點,將選取範圍完全破壞掉,等於是重算被選取範圍,因此會有很大機率算出與周圍圖形完全無關的新東西,適合在重創意的情況下使用。下面的範例將左方圈選起來,然後使用提示詞(entry of a ball room)來重算該區域。

latent noise範例,由牆變門

latent noise範例,由牆變門

設定上除了使用latent noise之外,Denoising strength通常要開到0.6以上,用比較強的力道來去噪,並且配上很高的Sampling steps(通常要超過30步),否則通常會得到很奇怪的圖形。

latent noise範例設定

latent noise範例設定


Masked content:latent nothing

latent nothing是個很好玩的功能,就字面上的意思它是指將選取區的latent空間(一種原圖的高度空間縮小版)填上0。但是在實務上,它其實會計算被選取區域周圍的圖象,然後計算一個平均的顏色填充在裡面,很適合移除不要的物件。

下面這個範例,角色臀部上的金色刺繡條紋是我不需要的,所以選取了整個金色刺繡之後,確認選取範圍已經完整涵蓋所有金色像素之後,就可使用latent nothing來改圖了:

latent nothing範例,金邊變不見

latent nothing範例,金邊變不見

除了latent nothing之外,提示詞保持不變(long blue dress with starry decoration and gem),並且用Denosing strength在0.65的高強度上計算,這次只需要算個5張圖就能得到很不錯的移除效果。

latent nothing範例設定

latent nothing範例設定


結語

Inpaint這個功能是一個非常重要的基本功能,配合上ControlNet,就能實現很多不可思議的修圖功能。甚至可以這樣說,只有用順了Inpaint以及ControlNet,才能擺脫AI算圖的不可預測性,駕馭AI服從於我們人類的創造力。

參考連結

https://onceuponanalgorithm.org/guide-stable-diffusion-inpaint-masked-content-options-explained/



留言
avatar-img
留言分享你的想法!
子不語-avatar-img
發文者
2023/06/19
Stable Diffusion練習,漫畫,姊妹會秘儀提及了這篇文章,趕快過去看看吧!
avatar-img
子不語怪・力・亂・神
28.3K會員
430內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2023/06/20
本篇要來講解一下身為Automatic1111最重要的外掛ControlNet的安裝方法。
Thumbnail
2023/06/20
本篇要來講解一下身為Automatic1111最重要的外掛ControlNet的安裝方法。
Thumbnail
2023/06/14
本篇要來解說Automatic1111這個軟體很重要的一部分,就是外掛(Extension)管理。 外掛是Automatic1111之所以超越玩具與學術研究工具,成為有生產力的軟體的關鍵。
Thumbnail
2023/06/14
本篇要來解說Automatic1111這個軟體很重要的一部分,就是外掛(Extension)管理。 外掛是Automatic1111之所以超越玩具與學術研究工具,成為有生產力的軟體的關鍵。
Thumbnail
2023/06/08
本篇要來講述兩個很少用,而且也會讓人很困惑的小功能,塗鴉(Sketch)與局部塗鴉(Inpaint Sketch)。
Thumbnail
2023/06/08
本篇要來講述兩個很少用,而且也會讓人很困惑的小功能,塗鴉(Sketch)與局部塗鴉(Inpaint Sketch)。
Thumbnail
看更多
你可能也想看
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
本篇要來分享一下如何用之前學到的技巧來製作有透視關係的多人圖。 這張圖用於我自己的小說 哈娜與修的談判的概念插畫,所以對於角色的表情、姿勢與攝影角度有一定的要求,不是光靠提示詞就能輕鬆生成,最省時間的方法就是使用人偶生圖法來產生姿勢固定的圖。
Thumbnail
本篇要來分享一下如何用之前學到的技巧來製作有透視關係的多人圖。 這張圖用於我自己的小說 哈娜與修的談判的概念插畫,所以對於角色的表情、姿勢與攝影角度有一定的要求,不是光靠提示詞就能輕鬆生成,最省時間的方法就是使用人偶生圖法來產生姿勢固定的圖。
Thumbnail
在上一篇文章中,我使用人偶圖產出了一個姿勢正確,但是手指錯亂且臉型崩潰的半成品圖,這一篇我要繼續修正這些問題,得到一個草稿圖,再使用這個草稿製作大張的完成圖。
Thumbnail
在上一篇文章中,我使用人偶圖產出了一個姿勢正確,但是手指錯亂且臉型崩潰的半成品圖,這一篇我要繼續修正這些問題,得到一個草稿圖,再使用這個草稿製作大張的完成圖。
Thumbnail
本篇要來分享一下製作 (漫畫)姊妹會秘儀時用到的各種AI生成技巧。 很多時候,為了將心中一個想法實現,必須用上許多自己原先不會的技巧,雖然過程是痛苦的、掙扎的,但是這樣一點一滴邁向終點,當到達時,就會發現收穫的不只是成果,還有一路上學到的新技能。
Thumbnail
本篇要來分享一下製作 (漫畫)姊妹會秘儀時用到的各種AI生成技巧。 很多時候,為了將心中一個想法實現,必須用上許多自己原先不會的技巧,雖然過程是痛苦的、掙扎的,但是這樣一點一滴邁向終點,當到達時,就會發現收穫的不只是成果,還有一路上學到的新技能。
Thumbnail
  已經玩SD好一陣子的人應該已經發現,很多名字帶有「Mix」且比較有名的checkpoint模型基本上就是在互相「抄來抄去」,而且在女角方面很多只使用了極少的人物重點訓練,導致算出來的臉常常「都長一個樣」。   那麼,該怎麼辦呢?
Thumbnail
  已經玩SD好一陣子的人應該已經發現,很多名字帶有「Mix」且比較有名的checkpoint模型基本上就是在互相「抄來抄去」,而且在女角方面很多只使用了極少的人物重點訓練,導致算出來的臉常常「都長一個樣」。   那麼,該怎麼辦呢?
Thumbnail
來講各種不同的局部重繪(Inpaint)設定適合用在哪些情況。 目前局部重繪提供四種不同的填充內容(Masked content):fill,original,latent noise,latent nothing,這四種方法填充的東西都不一樣。使用的情況也都不同。
Thumbnail
來講各種不同的局部重繪(Inpaint)設定適合用在哪些情況。 目前局部重繪提供四種不同的填充內容(Masked content):fill,original,latent noise,latent nothing,這四種方法填充的東西都不一樣。使用的情況也都不同。
Thumbnail
NVIDIA驅動程式最新版本532.03   因為NVIDIA驅動程式最新版本532.03據說在Windows 11環境下能大幅提升Stable Diffusion的inference效能(簡單的說即是算圖效能),所以我更新了驅動程式後想測試看看。   先說結論:好像有,又好像沒有,總之希望有。  
Thumbnail
NVIDIA驅動程式最新版本532.03   因為NVIDIA驅動程式最新版本532.03據說在Windows 11環境下能大幅提升Stable Diffusion的inference效能(簡單的說即是算圖效能),所以我更新了驅動程式後想測試看看。   先說結論:好像有,又好像沒有,總之希望有。  
Thumbnail
這篇要來做一個算是簡單,但是不算無腦的練習。一日,我想要換掉在方格子與Instgram上的大頭貼,換成一個更貼近自己喜歡的主題的圓形大頭貼。
Thumbnail
這篇要來做一個算是簡單,但是不算無腦的練習。一日,我想要換掉在方格子與Instgram上的大頭貼,換成一個更貼近自己喜歡的主題的圓形大頭貼。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News