Stable Diffusion進階 -- 漸進式光影

Stable Diffusion進階 -- 漸進式光影

更新於 發佈於 閱讀時間約 5 分鐘
修正後與修正光源前的對比

修正後與修正光源前的對比

前言

本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。

在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。

之前介紹的 Stable Diffusion提示詞 -- 光影 Stable Diffusion進階 -- 光影控制 都是可行的光影控制方法,而本篇要針對的是更細微的控制,將已經生成的圖片重新更改光源與陰影,且產生不同程度的明暗程度讓製作者可以挑選最佳的光影成果。

方法

我們先使用txt2img生成一張在夜晚森林之中的角色圖:

(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.3), extreme detailed, Hana, fighting stance, angry, clenched teeth, floating hair, wearing white kimono and white cape, long sleeves, hand holding a wooden club \(weapon\), night, half moon, moonlight, fantasy, forest <lora:Hana:0.4>
亮過頭的夜晚圖

亮過頭的夜晚圖

許多時候模型生成的圖片並不一定依照我們的想法來佈局明暗與光影,有時候是因為模型訓練時用了太多模特兒的攝影棚拍照片,或者LoRA在訓練時缺乏多樣化的光影,或者使用太多提示詞互相牽制,導致某些強烈的光影效果被取消掉。總之,在嘗試各種提示詞也無法產生想要的光影時,可以試試看利用ControlNet配上Loopback的手段來產生一整批不同明暗程度的圖片,再從裡面挑出最好的結果。

首先,在本例中,我想要在畫面中央上方製造一個月亮當作光源。我開啟任意繪圖軟體,例如GIMP,打開新畫布,選擇全黑背景,然後用畫筆弄出白色光源遮罩,將這張圖輸入到img2img裡面,提示詞則保持與原始圖一樣:

光源遮罩

光源遮罩

接著在img2img的設定中,使用Denoising strength 0.4這樣的中等權重:

img2img設定

img2img設定

接著開啟ControlNet,設定兩組。第一組使用Openpose以固定圖片生成時人物的姿勢不跑掉,使用ContorlNet is more important:

ControlNet的Openpose設定

ControlNet的Openpose設定

第二組的ControlNet使用canny(邊緣偵測)或者normal(法線圖)皆可,用以固定原始圖片裡面人物的形狀與表情,使用ContorlNet is more important:

ControlNet的Canny設定

ControlNet的Canny設定

最後,最重要的是Loopback的設定,藉由Loopback的循環輸入能力,我們才能將一片漆黑的基本遮罩慢慢還原出整張圖。在這邊我設定10回合,且Final denosing strength設定為0.75的高權重,在後幾回合產生較大的明暗變動:

Loopback設定

Loopback設定

成果

一切都設定完成之後,就能來跑圖了,等十回合都跑完後,就能來挑選圖片:

從遮罩還原出圖片

從遮罩還原出圖片

可以看出一開始,AI在一片漆黑的遮罩之下只能勉強算出光源附近的人物輪廓,但隨著成果圖不斷循環輸入,圖片會越來越清晰,且陰影分佈會依照物體的相對關係和光源強弱改變。

如果是使用ControlNet的canny來固定形狀,有些強烈的陰影分界線會被採樣進來,因此干擾了光影分佈,如果是這樣,可以下載Canny的圖片抹掉這些額外的線條,或者可以改用normal來固定形狀,但可能會造成衣服樣式完全改變。

最後,我挑選了最符合我想像中的夜晚森林有月光又足夠暗的圖片,大約在第七張左右:

更改明亮與光影的成果圖

更改明亮與光影的成果圖

除了人物的陰影改變了,背景的森林與道路的陰影也完全不同了,更符合月光照明的氛圍,基本符合我的需求!

祝大家AI算圖愉快!

avatar-img
子不語怪・力・亂・神
26.8K會員
429內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言
avatar-img
留言分享你的想法!
這篇要來探討一個建立角色穿著的手法,就是透過紙娃娃系統的概念,將裸體角色穿上衣物。
這篇要討論的主題與 Stable Diffusion進階 -- 穿衣換衣術 類似,但是要使用更穩定的方法把衣服變成自己想要的樣子。
本篇要來介紹一個很少人提到,但是我用了之後覺得非常驚艷的功能--循環輸入(Loopback)。
本篇要來討論一個很有趣的組合技巧,就是用有範圍的隨機提示詞來生成許多角色設定圖。
這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。
最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。
這篇要來探討一個建立角色穿著的手法,就是透過紙娃娃系統的概念,將裸體角色穿上衣物。
這篇要討論的主題與 Stable Diffusion進階 -- 穿衣換衣術 類似,但是要使用更穩定的方法把衣服變成自己想要的樣子。
本篇要來介紹一個很少人提到,但是我用了之後覺得非常驚艷的功能--循環輸入(Loopback)。
本篇要來討論一個很有趣的組合技巧,就是用有範圍的隨機提示詞來生成許多角色設定圖。
這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。
最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。