Stable Diffusion基礎 -- 局部重繪的應用
前言
本篇來講各種不同的局部重繪（Inpaint）設定適合用在哪些情況。
目前局部重繪提供四種不同的填充內容（Masked content）：fill，original，latent noise，latent nothing，這四種方法填充的東西都不一樣，綜觀來說，在實際重繪時，他們各有不同的適用情況，下面是根據我本人的經驗歸納的用法：
- fill：大規模置換
- original：根據原圖做修正
- latent noise：完全重繪
- latent nothing：移除物品
下面就用一些例子來解釋實際碰上的情況與解法。
Masked content：fill
fill選項會將重繪區域的圖最大模糊化，只保留大致的結構跟色彩，所以在大規模置換物品時會用到（但其實，大部分情況用original就綽綽有餘，只有在一些區域巨大的地方會比較有用。）例如下面這個情況：角色正在走上樓梯，但由於角色佔比非常巨大，所以被切割成左右兩邊的樓梯變成了兩個毫無關聯的樓梯，不只是明暗面不同，連級數都不一樣：
這時候就要把左右兩邊的樓梯都選起來，然後用fill配上whole picture以及大約0.5的Denoising strength來修復，配上合適的提示詞，就有很大的機率在十張圖的範圍內算出被修復的樓梯。
這種方法通常適用於各種同一結構體不對齊，或者被切割之後變成兩個不同物件的修復。
Masked content：original
original選項應該是最常用的，該選項完全不變動被選取的內容，只靠Denoising strength增加的噪點來修改圖像，所以在低Denosing strength時就可以得到很類似原圖的結構、色彩與風格。我在另一篇文章中大量運用了oirginal選項來改動畫作，可以當作參考：
在本篇文章，我以改動角色的服裝為例，因為我想要將角色的裙子改顏色風格，但是不希望改變它的外型，所以可以將它的臀部以下的部分全部圈選起來，然後改變提示詞為（long blue dress with starry decoration and gem），配合ControlNet的Reference_only對標原始參考圖，加上大量的抽圖做出自己喜歡的裙子款式。
因為我沒有使用其他的ControlNet功能來固定角色的姿勢或邊緣線條，所以臀部與腳的姿勢也會一起變動。
在設定這邊，除了選取original之外，Inpaint area選擇Whole picture可以保證它整張圖光影與色調一致。同時使用Denosing strength在0.65，是能改變最多內容但勉強能保持結構不變的極限值。大約在抽了15張圖後找到自己喜歡的成果。
另外，在人體結構很清晰的情況下，還可以靠著ControlNet做出更強力但不影響人體結構的改動，詳情請參考：
Masked content：latent noise
latent noise會在改動的範圍內依照seed的值撒上高斯分佈噪點，將選取範圍完全破壞掉，等於是重算被選取範圍，因此會有很大機率算出與周圍圖形完全無關的新東西，適合在重創意的情況下使用。下面的範例將左方圈選起來，然後使用提示詞（entry of a ball room）來重算該區域。
設定上除了使用latent noise之外，Denoising strength通常要開到0.6以上，用比較強的力道來去噪，並且配上很高的Sampling steps（通常要超過30步），否則通常會得到很奇怪的圖形。
Masked content：latent nothing
latent nothing是個很好玩的功能，就字面上的意思它是指將選取區的latent空間（一種原圖的高度空間縮小版）填上0。但是在實務上，它其實會計算被選取區域周圍的圖象，然後計算一個平均的顏色填充在裡面，很適合移除不要的物件。
下面這個範例，角色臀部上的金色刺繡條紋是我不需要的，所以選取了整個金色刺繡之後，確認選取範圍已經完整涵蓋所有金色像素之後，就可使用latent nothing來改圖了：
除了latent nothing之外，提示詞保持不變（long blue dress with starry decoration and gem），並且用Denosing strength在0.65的高強度上計算，這次只需要算個5張圖就能得到很不錯的移除效果。
結語
Inpaint這個功能是一個非常重要的基本功能，配合上ControlNet，就能實現很多不可思議的修圖功能。甚至可以這樣說，只有用順了Inpaint以及ControlNet，才能擺脫AI算圖的不可預測性，駕馭AI服從於我們人類的創造力。
參考連結
即將進入廣告，捲動後可繼續閱讀
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具，讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹：
功能和優點
自動化視頻轉換：
Mov2Mov 可以自動化視頻到
其他特殊材質調整
Particles
Q：大家有沒有發現剛剛葉子是一面有顏色一面透明？
A：Unity的渲染只有單面，超奇怪ㄉ啦，他軟體預設就是單面，要改成雙面也行，但會造成電腦負擔，所以只需在想要雙面渲染的物體上賦予即可，不用整個專案都給它。
單面渲染的情形
材質球著色器定義
Sh
剛剛調了第一層Rendering Mode渲染模式的參數
進入第二層#Opaque渲染參數介紹
搭配教材一起做好ㄌ，先下載檔案樹葉葉葉🌿🌿🌿
解壓縮後把他拖移進去ASSET裡面
點開剛剛LeafPack，找到Mesh>選擇FBX>找到後拖曳到遊戲編輯畫面
部份模型( Fbx&
Ae 小技巧：Adjustment Layer 調整圖層
動態後記系列會記錄一些我在製作中的記錄，可能是分解動畫、小技巧、發想、腳本......等等。 每篇都是小短篇，就是補充用的小筆記，沒有前後順序，可跳著閱讀。
在畫漫畫的時候，常常會出現角色性格不明顯的問題，一不留神創造出多個性格類似的角色，導致出現故事發展和角色行為單一的現象。
為了避免以上的狀況，我自己使用一套小方法，基本架構如下：
這篇要運用自動遮罩、重繪、批次的技巧，幫同一個人物更換不同背景。
自動遮罩
自動遮罩採用Segment Anything這個節點組，載入圖片後可以依指定的提示詞自動產生遮罩圖像，這邊我要更換的是背景，所以先讓AI抓出人物後，再反轉遮罩範圍輸出，為了讓重繪圖像不要過於生硬，將遮罩進行了高斯模糊。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
預售屋客變通常是指建商提供的隔間或裝潢設備做調整，是指預售屋在興建過程中可以依照屋主需求客製化變更的過程。而毛胚屋意思是建商無隔間格局但是已完成灌漿，呈現上是最原始的水泥裸露狀態，也就是毛胚屋是指建商只提供基本結構，內部不含裝修的建築狀態。
相信很多人在電繪過程中遇到最大的困難不是如何繪製線稿，而是不知道要如何上色，導致作品死板單調、完成度看起來不高。
而這次，我要教學如何使用「半厚塗」風來繪製皮膚。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具，讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹：
功能和優點
自動化視頻轉換：
Mov2Mov 可以自動化視頻到
其他特殊材質調整
Particles
Q：大家有沒有發現剛剛葉子是一面有顏色一面透明？
A：Unity的渲染只有單面，超奇怪ㄉ啦，他軟體預設就是單面，要改成雙面也行，但會造成電腦負擔，所以只需在想要雙面渲染的物體上賦予即可，不用整個專案都給它。
單面渲染的情形
材質球著色器定義
Sh
剛剛調了第一層Rendering Mode渲染模式的參數
進入第二層#Opaque渲染參數介紹
搭配教材一起做好ㄌ，先下載檔案樹葉葉葉🌿🌿🌿
解壓縮後把他拖移進去ASSET裡面
點開剛剛LeafPack，找到Mesh>選擇FBX>找到後拖曳到遊戲編輯畫面
部份模型( Fbx&
Ae 小技巧：Adjustment Layer 調整圖層
動態後記系列會記錄一些我在製作中的記錄，可能是分解動畫、小技巧、發想、腳本......等等。 每篇都是小短篇，就是補充用的小筆記，沒有前後順序，可跳著閱讀。
在畫漫畫的時候，常常會出現角色性格不明顯的問題，一不留神創造出多個性格類似的角色，導致出現故事發展和角色行為單一的現象。
為了避免以上的狀況，我自己使用一套小方法，基本架構如下：
這篇要運用自動遮罩、重繪、批次的技巧，幫同一個人物更換不同背景。
自動遮罩
自動遮罩採用Segment Anything這個節點組，載入圖片後可以依指定的提示詞自動產生遮罩圖像，這邊我要更換的是背景，所以先讓AI抓出人物後，再反轉遮罩範圍輸出，為了讓重繪圖像不要過於生硬，將遮罩進行了高斯模糊。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
預售屋客變通常是指建商提供的隔間或裝潢設備做調整，是指預售屋在興建過程中可以依照屋主需求客製化變更的過程。而毛胚屋意思是建商無隔間格局但是已完成灌漿，呈現上是最原始的水泥裸露狀態，也就是毛胚屋是指建商只提供基本結構，內部不含裝修的建築狀態。
相信很多人在電繪過程中遇到最大的困難不是如何繪製線稿，而是不知道要如何上色，導致作品死板單調、完成度看起來不高。
而這次，我要教學如何使用「半厚塗」風來繪製皮膚。