Stable Diffusion基礎 -- 局部重繪的應用

閱讀時間約 6 分鐘

前言

本篇來講各種不同的局部重繪(Inpaint)設定適合用在哪些情況。
目前局部重繪提供四種不同的填充內容(Masked content):fill,original,latent noise,latent nothing,這四種方法填充的東西都不一樣,綜觀來說,在實際重繪時,他們各有不同的適用情況,下面是根據我本人的經驗歸納的用法:
  • fill:大規模置換
  • original:根據原圖做修正
  • latent noise:完全重繪
  • latent nothing:移除物品
下面就用一些例子來解釋實際碰上的情況與解法。

Masked content:fill

fill選項會將重繪區域的圖最大模糊化,只保留大致的結構跟色彩,所以在大規模置換物品時會用到(但其實,大部分情況用original就綽綽有餘,只有在一些區域巨大的地方會比較有用。)例如下面這個情況:角色正在走上樓梯,但由於角色佔比非常巨大,所以被切割成左右兩邊的樓梯變成了兩個毫無關聯的樓梯,不只是明暗面不同,連級數都不一樣:
fill範例,置換樓梯
這時候就要把左右兩邊的樓梯都選起來,然後用fill配上whole picture以及大約0.5的Denoising strength來修復,配上合適的提示詞,就有很大的機率在十張圖的範圍內算出被修復的樓梯。
fill範例設定
這種方法通常適用於各種同一結構體不對齊,或者被切割之後變成兩個不同物件的修復。

Masked content:original

original選項應該是最常用的,該選項完全不變動被選取的內容,只靠Denoising strength增加的噪點來修改圖像,所以在低Denosing strength時就可以得到很類似原圖的結構、色彩與風格。我在另一篇文章中大量運用了oirginal選項來改動畫作,可以當作參考:
在本篇文章,我以改動角色的服裝為例,因為我想要將角色的裙子改顏色風格,但是不希望改變它的外型,所以可以將它的臀部以下的部分全部圈選起來,然後改變提示詞為(long blue dress with starry decoration and gem),配合ControlNet的Reference_only對標原始參考圖,加上大量的抽圖做出自己喜歡的裙子款式。
因為我沒有使用其他的ControlNet功能來固定角色的姿勢或邊緣線條,所以臀部與腳的姿勢也會一起變動。
original範例,置換裙子
在設定這邊,除了選取original之外,Inpaint area選擇Whole picture可以保證它整張圖光影與色調一致。同時使用Denosing strength在0.65,是能改變最多內容但勉強能保持結構不變的極限值。大約在抽了15張圖後找到自己喜歡的成果。
original範例設定
另外,在人體結構很清晰的情況下,還可以靠著ControlNet做出更強力但不影響人體結構的改動,詳情請參考:

Masked content:latent noise

latent noise會在改動的範圍內依照seed的值撒上高斯分佈噪點,將選取範圍完全破壞掉,等於是重算被選取範圍,因此會有很大機率算出與周圍圖形完全無關的新東西,適合在重創意的情況下使用。下面的範例將左方圈選起來,然後使用提示詞(entry of a ball room)來重算該區域。
latent noise範例,由牆變門
設定上除了使用latent noise之外,Denoising strength通常要開到0.6以上,用比較強的力道來去噪,並且配上很高的Sampling steps(通常要超過30步),否則通常會得到很奇怪的圖形。
latent noise範例設定

Masked content:latent nothing

latent nothing是個很好玩的功能,就字面上的意思它是指將選取區的latent空間(一種原圖的高度空間縮小版)填上0。但是在實務上,它其實會計算被選取區域周圍的圖象,然後計算一個平均的顏色填充在裡面,很適合移除不要的物件。
下面這個範例,角色臀部上的金色刺繡條紋是我不需要的,所以選取了整個金色刺繡之後,確認選取範圍已經完整涵蓋所有金色像素之後,就可使用latent nothing來改圖了:
latent nothing範例,金邊變不見
除了latent nothing之外,提示詞保持不變(long blue dress with starry decoration and gem),並且用Denosing strength在0.65的高強度上計算,這次只需要算個5張圖就能得到很不錯的移除效果。
latent nothing範例設定

結語

Inpaint這個功能是一個非常重要的基本功能,配合上ControlNet,就能實現很多不可思議的修圖功能。甚至可以這樣說,只有用順了Inpaint以及ControlNet,才能擺脫AI算圖的不可預測性,駕馭AI服從於我們人類的創造力。

參考連結

13.6K會員
262內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言0
查看全部
發表第一個留言支持創作者!
你可能也想看
迎新活動「方格新手村」:新格友註冊加入方格子,知名日料吃到飽餐券送給你! 👉 還不是 vocus 的會員嗎?點此註冊,參與新手村活動 👈 近期站上也出現了不少新格友,為了歡迎各位的加入,「方格新手村」隨之登場! 即日起,只要是新註冊帳號於活動期間內發佈 3 則文章,就有機會抽獎獲得知名日料吃到飽餐券。原格友也可以一起同樂,我們準備了小任
Thumbnail
2024-06-21
102
什麼人適合國泰世華 CUBE App ?整理5大推薦原因你覺得哪間網銀的 App 最好用? 近幾年,我為了拿到很多家銀行的回饋,辦了很多家銀行的帳戶,數一數至少也有十幾間! 比較下來,國泰世華 CUBE App ,是我用起來最順手的 👍 國泰究竟贏在哪裡呢?讓我整理 5 個原因給大家~
Thumbnail
2024-07-05
50
川普當選,對台股是利多還是利空?川普在槍擊事件中所表現出來的英勇形象,讓他贏得美國總統大選幾乎已成定局。沒想到他隨口的一句話「台灣搶走美國的晶片生意,所以要付保護費」,就讓台積電在短短三天跌掉超過100 元,台股也跌掉1100點以上。台積電、台股會就此一路下跌嗎?未來該如何因應?  
Thumbnail
2024-07-20
73
Stable Diffusion Online網頁版,免費無限生成高質量圖像Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
2024-01-31
11
Stable Diffusion 用 prompt 控制鏡頭距離及角度在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Thumbnail
2023-12-07
9
Stable Diffusion: Advancing Generative Models for Robust andGenerative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
2023-10-25
0
stable-diffusion-webui AUTOMATIC1111在更新1.6版後的八大重點項目stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
發佈在
因人廢言
2023-09-05
7
AI繪圖-Stable Diffusion 001- 本機安裝 Stable Diffusion WebUi 運行Stable Diffusion繪圖模型的操作介面有很多選擇,這邊介紹的是目前最廣泛被大家主流使用的版本(AUTOMATIC1111)在本機電腦的安裝方式。 Stable Diffusion基礎概況 在開始安裝運行Stable Diffusion的操作介面前,有幾個基礎知識要先了解一下
Thumbnail
2023-08-06
6
探索 Stable Diffusion 反向詞本文探討了反向詞(Negative Embedding)的概念,並介紹了在 Stable Diffusion WebUI 中使用的幾種模型,包括 EasyNegative、bad_prompt_version2、bad-hands-5 和 Deep Negative V1.x。這些模型的主要目的是在
Thumbnail
2023-06-03
4
AI工具 - 介紹 Stable Diffusion + ControlNet 在室內設計上的運用前言 目前AI在室內設計領域已經取得了一定的進展,但尚未完全能夠取代室內設計師的工作。AI在室內設計中的應用主要包括幫助設計師進行設計、提供設計建議和測試不同的設計方案等。 室內設計涉及許多複雜的因素,包括空間配置、人性化需求、材料選擇、色彩搭配等。這些方面需要考慮到個人喜好、使用者的需求、環境因素
Thumbnail
如何用 Stable Diffusion 產生高解析度的圖?txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
2023-05-19
4
Stable diffusion低配電腦,免費!stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
2023-04-08
4
Stable Diffusion 介面安裝(automatic1111)AI 每天每週都在進步,我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝,很快就推出新版了,所以,我把 Automatic1111 最新版本安裝方式寫在這裡,以便盡我所能為各位讀者更新。 建議使用 windows 桌機PC,具有 Nvidia GTX1660以上等級的獨立顯示卡,算圖會比較容易。
Thumbnail
發佈在
BJ的沙龍
2023-03-08
5
迎新活動「方格新手村」:新格友註冊加入方格子,知名日料吃到飽餐券送給你! 👉 還不是 vocus 的會員嗎?點此註冊,參與新手村活動 👈 近期站上也出現了不少新格友,為了歡迎各位的加入,「方格新手村」隨之登場! 即日起,只要是新註冊帳號於活動期間內發佈 3 則文章,就有機會抽獎獲得知名日料吃到飽餐券。原格友也可以一起同樂,我們準備了小任
Thumbnail
2024-06-21
102
什麼人適合國泰世華 CUBE App ?整理5大推薦原因你覺得哪間網銀的 App 最好用? 近幾年,我為了拿到很多家銀行的回饋,辦了很多家銀行的帳戶,數一數至少也有十幾間! 比較下來,國泰世華 CUBE App ,是我用起來最順手的 👍 國泰究竟贏在哪裡呢?讓我整理 5 個原因給大家~
Thumbnail
2024-07-05
50
川普當選,對台股是利多還是利空?川普在槍擊事件中所表現出來的英勇形象,讓他贏得美國總統大選幾乎已成定局。沒想到他隨口的一句話「台灣搶走美國的晶片生意,所以要付保護費」,就讓台積電在短短三天跌掉超過100 元,台股也跌掉1100點以上。台積電、台股會就此一路下跌嗎?未來該如何因應?  
Thumbnail
2024-07-20
73
Stable Diffusion Online網頁版,免費無限生成高質量圖像Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
2024-01-31
11
Stable Diffusion 用 prompt 控制鏡頭距離及角度在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Thumbnail
2023-12-07
9
Stable Diffusion: Advancing Generative Models for Robust andGenerative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
2023-10-25
0
stable-diffusion-webui AUTOMATIC1111在更新1.6版後的八大重點項目stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
發佈在
因人廢言
2023-09-05
7
AI繪圖-Stable Diffusion 001- 本機安裝 Stable Diffusion WebUi 運行Stable Diffusion繪圖模型的操作介面有很多選擇,這邊介紹的是目前最廣泛被大家主流使用的版本(AUTOMATIC1111)在本機電腦的安裝方式。 Stable Diffusion基礎概況 在開始安裝運行Stable Diffusion的操作介面前,有幾個基礎知識要先了解一下
Thumbnail
2023-08-06
6
探索 Stable Diffusion 反向詞本文探討了反向詞(Negative Embedding)的概念,並介紹了在 Stable Diffusion WebUI 中使用的幾種模型,包括 EasyNegative、bad_prompt_version2、bad-hands-5 和 Deep Negative V1.x。這些模型的主要目的是在
Thumbnail
2023-06-03
4
AI工具 - 介紹 Stable Diffusion + ControlNet 在室內設計上的運用前言 目前AI在室內設計領域已經取得了一定的進展,但尚未完全能夠取代室內設計師的工作。AI在室內設計中的應用主要包括幫助設計師進行設計、提供設計建議和測試不同的設計方案等。 室內設計涉及許多複雜的因素,包括空間配置、人性化需求、材料選擇、色彩搭配等。這些方面需要考慮到個人喜好、使用者的需求、環境因素
Thumbnail
如何用 Stable Diffusion 產生高解析度的圖?txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
2023-05-19
4
Stable diffusion低配電腦,免費!stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
2023-04-08
4
Stable Diffusion 介面安裝(automatic1111)AI 每天每週都在進步,我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝,很快就推出新版了,所以,我把 Automatic1111 最新版本安裝方式寫在這裡,以便盡我所能為各位讀者更新。 建議使用 windows 桌機PC,具有 Nvidia GTX1660以上等級的獨立顯示卡,算圖會比較容易。
Thumbnail
發佈在
BJ的沙龍
2023-03-08
5