Stable Diffusion進階 -- ControlNet新功能Reference

更新於 發佈於 閱讀時間約 7 分鐘

正文

今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。

上個星期ControlNet發佈了更新版v1.1.167,其中包含了一個很好玩的新前置處理器 -- reference_only。這是一個很好玩的東西,它模仿了一個Inpaint的技巧,就是故意生成雙胞胎。

Stable Diffusion有個很煩人的特性,就是如果畫布尺寸過大,AI會有很大機率產生一模一樣但是姿態不同的人物或動物來填充畫布。解決雙胞胎效果的方法通常是先從小尺寸畫布開始,然後用Hires. fix或Upscaling擴展尺寸並加細節。

但是雙胞胎效果也有一個很好玩的應用,就是故意製造雙胞胎效果,藉以製造相似但是型態不一樣的角色。

以這張狗狗圖為例,用512x512來製圖,然後在繪圖軟體裡面將圖擴展成1024x512,新的地方留白,然後放進Inpaint裡面將留白的地方選擇起來:

左邊是原圖,右邊是空白區域

左邊是原圖,右邊是空白區域

接著用:

  • Masked Content: Latent Noise
  • Denoising strength: 約0.75

這樣跑了幾張圖之後,有很大機率可以刷到非常相似的雙胞胎。

故意使用雙胞胎效應

故意使用雙胞胎效應

而ControlNet的Reference就是重現相似的方法,但是能更精緻操控出圖的走向,並且避免這種方法的繁瑣以及頻繁的崩圖。

範例圖

範例圖

以這張圖為範例,在txt2img內,把ControlNet的preprocessor設定為reference_only。將範例圖拉進ControlNet,其他設定都維持一樣,就可以開始跑了!

ControlNet的reference_only設定

ControlNet的reference_only設定

我們在這邊只用簡單的正向提示詞來跑圖:

(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, 1girl, blunt hair, black long hair, white kimono,
dynamic pose, dynamic angle,
from above, slight smiling

Reference功能可以僅靠著這麼粗略的提示詞,就幫你畫出以範例圖為參考而產生的人物。我在提示詞中沒有提到帽子,所以產出的人物圖也不會有帽子。

這些提示詞必須先測試過,確定了產出的成果圖有你需要的元素,如果沒有的話,就自行增加提示詞來補上。例如我的範例圖中,Reference並沒有提取瀏海與髮色的特徵,所以要自己補上blunt bangs(齊眉劉海)與black long hair(黑長髮)。

然後加上了dynamic pose, dynamic angle等提示詞,讓產出的角色可以有更多的姿勢,用from above, slight smiling讓角色有更多的攝影角度與表情,之後再使用X/Y/Z plot來產出各種組合的圖。

成果圖

成果圖

就這樣,產生了好幾張與參考圖非常相似,但是表情,角度都有稍微不同的成果圖。

這個功能的用途,我能想到的第一個用途就是拿來當LoRA的訓練素材。通常LoRA訓練需要用到20張到40張的素材圖,最好是多角度多表情多光影,存粹使用提示詞來產生素材圖通常很難張張相像,所以使用Reference來產生一批表情各異、角度微調的類似圖片,可以省下很多時間。

第二個用途就是結合ControlNet的其他功能,例如openpose來固定出圖人物的姿勢與角度,產生一個指定的角色圖,例如配合使用openpose來出圖:

ControlNet的openpose設定

ControlNet的openpose設定

複數ControlNet合作的成品

複數ControlNet合作的成品

另一個用途就是讓我們能不使用LoRA就在不同模型間產生一個類似的角色圖,在某些情況下直接跳過訓練LoRA的階段,直接算圖快速滿足一些特定需求。

例如我們想在revAnimated這個模型產生哥布林,但是它產生的樣子與RPGV4模型產生的相差很多,而我想要RPGv4的哥布林外型,但又要在revAnimated產生比較柔和的皮膚感覺:

左圖為RPGv4的哥布林,右圖為revAnimated的哥布林

左圖為RPGv4的哥布林,右圖為revAnimated的哥布林

之前最穩定的做法是使用RPGv4的哥布林圖片訓練一個專門的LoRA,然後在revAnimated裡面使用,但是現在有了這個新功能,就可以直接在目標模型內生成原始模型的角色圖了:

左上是無reference版本的哥布林,右邊六張圖是有reference的哥布林

左上是無reference版本的哥布林,右邊六張圖是有reference的哥布林

這樣我們就可以省下訓練LoRA的時間跟資源在烘焙雜兵LoRA上了!

限制

測試了Reference一陣子,發覺這個功能還有許多侷限:

  • 多人畫面會造成參考錯亂,因為AI不知道哪個角色的特徵要對應到成果圖的哪個角色,很常出現特徵錯亂或者多人特徵混合在一起出圖。
  • 3D或真實照片通常都提取不了特徵,成果圖會跟參考圖差異非常大,這可能是Reference模型自己的問題,只能等待作者解決,或者我們能開發出其他方法讓模型能夠正確讀取照片人物的特徵。

祝大家AI算圖愉快!

參考

進階技巧目錄:


留言
avatar-img
留言分享你的想法!
子不語-avatar-img
發文者
2023/08/16
Stable Diffusion進階 -- 糊圖精細化提及了這篇文章,趕快過去看看吧!
子不語-avatar-img
發文者
2023/05/24
Stable Diffusion -- 訓練LoRA(五)提及了這篇文章,趕快過去看看吧!
avatar-img
子不語怪・力・亂・神
28.4K會員
430內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
ControlNet 官方的其它特殊效果主要有 Shuffle、Tile、Inpaint、IP2P、Reference,其中Tile和Inpaint會花比較多篇幅就之後另外再介紹,這篇就先來看Shuffle & IP2P & Reference這三種ControlNet成像效果。 Shuffl
Thumbnail
ControlNet 官方的其它特殊效果主要有 Shuffle、Tile、Inpaint、IP2P、Reference,其中Tile和Inpaint會花比較多篇幅就之後另外再介紹,這篇就先來看Shuffle & IP2P & Reference這三種ControlNet成像效果。 Shuffl
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
Thumbnail
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。
Thumbnail
最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News