Stable Diffusion進階 -- ControlNet光影模型

更新於 發佈於 閱讀時間約 3 分鐘

前言

在Stable Diffusion內,已經有許多方法來控制光影,但是每種方法都有其限制與特長,並沒有一種萬用的光影控制法。

而在最近,光頭佬Olivio Sarikas分享了一個使用ControlNet非官方模型來控制txt2img的光影佈局的方法。這個方法與 Stable Diffusion進階 -- 光影控制 提到的遮罩光影頗為類似,但是更為強大。

步驟

首先,要使用這個模型,就必須到Civitai上下載該模型,並放置到ControlNet的資料夾內。

模型網頁是:

https://civitai.com/models/80536/lighting-based-picture-control-controlnet

下載的模型需要放置到 /extensions/sd-webui-controlnet/models 這個資料夾內。這樣重啟Automatic1111之後就能看到該模型出現在ControlNet的選單下。

接著,我以一個簡單的圖片當作光源指引:

光影指引

光影指引

在這裡,我以產生一張野狼在月亮下行走於森林的圖為例,套用該光影指引來生圖。提示詞我使用:

((fantasy)), (extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres,
wolf running in forest, big full moon

這樣簡單的提示,接著開啟ControlNet:

ControlNet設定

ControlNet設定

在這邊Control Type要使用All,這樣才能在Model的下拉選單中找到要用的模型lightingBasedPicture_v10

根據作者的介紹,由於該模型是使用大量真實相片來訓練光影,所以在生成動漫與擬真的圖片時,光影引導的效果太強,反而會破壞畫風,因此經過嘗試後作者建議使用Control Weight 0.6以及Ending Control Step 0.6左右。這樣能得到較佳結果:

完成品

完成品

可以看到,ControlNet指引原始光影參考圖的亮區成為月亮,並且在月亮前繪製了野狼。

根據作者聲稱,該模型可以與其他ControlNet的模型合作,因此我測試了配合Canny模型的組合效果,設定上與一般使用ControlNet一致:

ControlNet設定

ControlNet設定

而成品圖與我們期望的類似,狼的形狀確實遵照了canny的形狀產生,但是光影與canny模型產生了衝突,因此無法產生巨大的月亮,原先的光亮區從月亮變成了月光照亮的區域:

沒有月亮的成品圖

沒有月亮的成品圖

另外,作者也在他自己的頁面上介紹了使用灰階光影圖來精細打造整個場景的光影。

目前該模型僅能用於txt2img,在img2img中使用,效果非常慘烈,還不如使用原始的遮罩法來生圖。但是在txt2img中,這可能是唯一一個不靠提示詞就能指定光源的方法。

參照


留言
avatar-img
留言分享你的想法!
avatar-img
子不語怪・力・亂・神
29.1K會員
430內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
Thumbnail
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
Thumbnail
最近,光頭佬Olivio Sarikas分享了一個使用ControlNet非官方模型來控制txt2img的光影佈局的方法。
Thumbnail
最近,光頭佬Olivio Sarikas分享了一個使用ControlNet非官方模型來控制txt2img的光影佈局的方法。
Thumbnail
因為想嘗試將真實照片中的人物姿態融入成品中,所以在Text2Image(文生圖)階段使用了三種ControlNet:Depth (景深)、reference_only (參照)、lightingBasedPicture_v10 (打光模型)。
Thumbnail
因為想嘗試將真實照片中的人物姿態融入成品中,所以在Text2Image(文生圖)階段使用了三種ControlNet:Depth (景深)、reference_only (參照)、lightingBasedPicture_v10 (打光模型)。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News