Stable Diffusion進階 -- Loopback

更新於 發佈於 閱讀時間約 6 分鐘

本篇要來介紹一個很少人提到,但是我用了之後覺得非常驚艷的功能--循環輸入(Loopback)。

Loopback效果

Loopback效果

當我們在使用img2img,或者Inpaint等依照一個既有圖像產生新圖像時,很多時候會遇到一個問題:

Denoising strength太小,改動的幅度不夠大,想改的東西改不了。但是Denoising strength如果弄得太大,想改的東西不一定會改到,但不想改的東西卻被改變了。

通常應付這種問題的作法就是使用低Denoising strength,不斷地把滿意的成果送回img2img或Inpaint裡面繼續重繪。但有時候這種過程非常緩慢又耗費心力,常常還沒看到滿意的成果前就放棄不搞了。

這時候Loopback就是一個很棒的懶人救星。Loopback簡單說,就是將這一次跑出來的成果圖,當成下一輪的來源圖繼續生出下一張圖。

在img2img與Sketch功能底下,就是整張圖繼續生圖,在Inpaint與Inpaint Sketch底下就是以原本選取的範圍來繼續生圖。

在img2img頁籤的最下面,Script選單裡面,就有著Loopback這個選項,選擇它之後會打開一個表單,提供幾個額外設定:

Loopback選單

Loopback選單

  1. Loops:執行幾次Loopback功能。
  2. Final denosing strength:最後一回合的Denoising strength。
  3. Denoising strength curve:從第一回合到最後一回合之間的Denoising strength的變化策略,有三種選項:
    Linear:從頭到尾平均變化。
    Aggresive:非常快就貼近Final denoising strength。
    Lazy:最後幾回合才會貼近Final denoising strength。
  4. Append interrogated prompt at each iteration:每次生出新圖之後,是否要執行圖生文,將搜尋到的提示詞附加上去生下一回合的新圖。有三個選項:
    None:不執行圖生文。
    CLIP:執行CLIP,讓AI從新圖提煉提示詞,產出自然語法格式的提示詞。常用在照片類圖片。
    DeepBooru:執行DeepBooru,讓AI從新圖提煉提示詞,產生單詞列表的提示詞,常用在動漫類圖片。


原本由於AI在高度Denoising strength的情況下,輸出的成果太不可測,所以Loopback這個功能很難使用,因此很少人使用,但是在ControlNet這個超級外掛出現之後,Loopback在某些地方就變得特別好用,下面是一個應用範例:替人物身上的衣物變色。


很多時候,AI並不一定會聽我們輸入的提示詞,但同時又產生了我們很喜歡的成果,這要怎麼辦呢?例如下圖,AI偶然產生了一張很滿意的圖片,但是角色身上的衣物顏色是錯的,我指定的是紅色短裙,但是AI給我的是純白短裙。

純白短裙

純白短裙

這時候如果使用0.99的超高強度Denoising strength對裙子進行局部重繪,通常會得到一個顏色介於粉紅到深紅的裙子,但我們也可以使用Loopback來漸進式地更改角色的衣服。

首先將圖傳送到Inpaint中,選取裙子的部分,使用這個提示詞組來強調要改成紅色短裙:

(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.3), extreme detailed, Hana, red short skirt, fantasy <lora:Hana25:0.4>

在設定表單上,最需要注意的地方是Denoising strength為非常高的0.8,在這種情況下必須要使用ControlNet來管控畫面,否則產生出來的東西會非常離譜。

Inpaint設定

Inpaint設定

在ControlNet裡面,使用canny或者normal都可以,用normal能讓裙子的裝飾或零配件產生變化,如果使用canny的話,就會產生與原本裙子樣子更一致的新裙子。

ControlNet設定

ControlNet設定

接下來是重點,在Script底下選擇Loopback,將回合設定為5到10回合,最終Denoising strength設為0.9的更高數值,然後其他保持原樣,這樣就能開始跑圖了!

Loopback設定

Loopback設定

就這樣,Loopback會產生數張圖片,你可以從文章開頭的圖片看到角色的裙子顏色從白色變成黃色,再變成深淺不同的紅色。我們就可以從這些成果中挑選自己喜歡的圖片來用了。

除了簡單的變色之外,還有改變衣服,將從外部接肢的正常手腳融合成自然的手腳等等用途,都可以從手動變成這種等結果的懶人做法:

Stable Diffusion進階 -- 手部修復

Stable Diffusion進階 -- 醒來!表情變換

留言
avatar-img
留言分享你的想法!
avatar-img
子不語怪・力・亂・神
27.7K會員
430內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
大家好,我是一名眼科醫師,也是一位孩子的媽 身為眼科醫師的我,我知道視力發展對孩子來說有多關鍵。 每到開學季時,診間便充斥著許多憂心忡忡的家屬。近年來看診中,兒童提早近視、眼睛疲勞的案例明顯增加,除了3C使用過度,最常被忽略的,就是照明品質。 然而作為一位媽媽,孩子能在安全、舒適的環境
Thumbnail
大家好,我是一名眼科醫師,也是一位孩子的媽 身為眼科醫師的我,我知道視力發展對孩子來說有多關鍵。 每到開學季時,診間便充斥著許多憂心忡忡的家屬。近年來看診中,兒童提早近視、眼睛疲勞的案例明顯增加,除了3C使用過度,最常被忽略的,就是照明品質。 然而作為一位媽媽,孩子能在安全、舒適的環境
Thumbnail
我的「媽」呀! 母親節即將到來,vocus 邀請你寫下屬於你的「媽」故事——不管是紀錄爆笑的日常,或是一直想對她表達的感謝,又或者,是你這輩子最想聽她說出的一句話。 也歡迎你曬出合照,分享照片背後的點點滴滴 ♥️ 透過創作,將這份情感表達出來吧!🥹
Thumbnail
我的「媽」呀! 母親節即將到來,vocus 邀請你寫下屬於你的「媽」故事——不管是紀錄爆笑的日常,或是一直想對她表達的感謝,又或者,是你這輩子最想聽她說出的一句話。 也歡迎你曬出合照,分享照片背後的點點滴滴 ♥️ 透過創作,將這份情感表達出來吧!🥹
Thumbnail
ControlNet 官方的其它特殊效果主要有 Shuffle、Tile、Inpaint、IP2P、Reference,其中Tile和Inpaint會花比較多篇幅就之後另外再介紹,這篇就先來看Shuffle & IP2P & Reference這三種ControlNet成像效果。 Shuffl
Thumbnail
ControlNet 官方的其它特殊效果主要有 Shuffle、Tile、Inpaint、IP2P、Reference,其中Tile和Inpaint會花比較多篇幅就之後另外再介紹,這篇就先來看Shuffle & IP2P & Reference這三種ControlNet成像效果。 Shuffl
Thumbnail
在掌握Stable Diffusion文生圖的使用技巧幫助我們利用文字描述的組合/變化去生成所需的圖片內容後,再更進一步,我們也許會想要針對一張已經百分之七、八十符合我們需求的圖去進行部分內容的修改或是整體畫風的轉換。這時就需要有個”圖生圖 img2img”的操作介面讓我們能和SD溝通。
Thumbnail
在掌握Stable Diffusion文生圖的使用技巧幫助我們利用文字描述的組合/變化去生成所需的圖片內容後,再更進一步,我們也許會想要針對一張已經百分之七、八十符合我們需求的圖去進行部分內容的修改或是整體畫風的轉換。這時就需要有個”圖生圖 img2img”的操作介面讓我們能和SD溝通。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
本篇要來介紹一個很少人提到,但是我用了之後覺得非常驚艷的功能--循環輸入(Loopback)。
Thumbnail
本篇要來介紹一個很少人提到,但是我用了之後覺得非常驚艷的功能--循環輸入(Loopback)。
Thumbnail
玩AI手繪也不錯<Stable Diffusion篇> 在當今數碼時代,照片成為人們記錄生活的重要方式。然而,有時我們渴望將照片轉化為更加藝術性的形式,以獨特的風格呈現。這就是人工智能的力量發揮作用的時候了。利用深度學習和計算機視覺技術,研究人員開發出了一種令人驚嘆的AI技術,可以將照片轉換為手繪效
Thumbnail
玩AI手繪也不錯<Stable Diffusion篇> 在當今數碼時代,照片成為人們記錄生活的重要方式。然而,有時我們渴望將照片轉化為更加藝術性的形式,以獨特的風格呈現。這就是人工智能的力量發揮作用的時候了。利用深度學習和計算機視覺技術,研究人員開發出了一種令人驚嘆的AI技術,可以將照片轉換為手繪效
Thumbnail
最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。
Thumbnail
最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。
Thumbnail
本篇要來討論一些目前在Stable Diffusion裡面,比較可行的向外擴展方法(Outpaint)。 向外擴展是將圖的周圍擴展開來,然後填充進新的內容,造成一種Zoom out的效果。
Thumbnail
本篇要來討論一些目前在Stable Diffusion裡面,比較可行的向外擴展方法(Outpaint)。 向外擴展是將圖的周圍擴展開來,然後填充進新的內容,造成一種Zoom out的效果。
Thumbnail
這一篇要來敘述Stable Diffusion的Automatic1111的圖生圖(img2img,簡稱i2i)功能。
Thumbnail
這一篇要來敘述Stable Diffusion的Automatic1111的圖生圖(img2img,簡稱i2i)功能。
Thumbnail
這一篇要開始來敘述Stable Diffusion的Automatic1111的基礎功能。 一切都要先從最基本的文生圖(txt2img)開始。這是Automatic1111開啟之後的第一個頁面,也是最常用最重要的功能。
Thumbnail
這一篇要開始來敘述Stable Diffusion的Automatic1111的基礎功能。 一切都要先從最基本的文生圖(txt2img)開始。這是Automatic1111開啟之後的第一個頁面,也是最常用最重要的功能。
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News