Stable Diffusion進階 -- 漸進式光影

更新 發佈閱讀 5 分鐘
raw-image

前言

本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。

在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。

之前介紹的 Stable Diffusion提示詞 -- 光影 Stable Diffusion進階 -- 光影控制 都是可行的光影控制方法,而本篇要針對的是更細微的控制,將已經生成的圖片重新更改光源與陰影,且產生不同程度的明暗程度讓製作者可以挑選最佳的光影成果。

方法

我們先使用txt2img生成一張在夜晚森林之中的角色圖:

(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.3), extreme detailed, Hana, fighting stance, angry, clenched teeth, floating hair, wearing white kimono and white cape, long sleeves, hand holding a wooden club \(weapon\), night, half moon, moonlight, fantasy, forest <lora:Hana:0.4>
raw-image

許多時候模型生成的圖片並不一定依照我們的想法來佈局明暗與光影,有時候是因為模型訓練時用了太多模特兒的攝影棚拍照片,或者LoRA在訓練時缺乏多樣化的光影,或者使用太多提示詞互相牽制,導致某些強烈的光影效果被取消掉。總之,在嘗試各種提示詞也無法產生想要的光影時,可以試試看利用ControlNet配上Loopback的手段來產生一整批不同明暗程度的圖片,再從裡面挑出最好的結果。

首先,在本例中,我想要在畫面中央上方製造一個月亮當作光源。我開啟任意繪圖軟體,例如GIMP,打開新畫布,選擇全黑背景,然後用畫筆弄出白色光源遮罩,將這張圖輸入到img2img裡面,提示詞則保持與原始圖一樣:

raw-image

接著在img2img的設定中,使用Denoising strength 0.4這樣的中等權重:

raw-image

接著開啟ControlNet,設定兩組。第一組使用Openpose以固定圖片生成時人物的姿勢不跑掉,使用ContorlNet is more important:

raw-image

第二組的ControlNet使用canny(邊緣偵測)或者normal(法線圖)皆可,用以固定原始圖片裡面人物的形狀與表情,使用ContorlNet is more important:

raw-image

最後,最重要的是Loopback的設定,藉由Loopback的循環輸入能力,我們才能將一片漆黑的基本遮罩慢慢還原出整張圖。在這邊我設定10回合,且Final denosing strength設定為0.75的高權重,在後幾回合產生較大的明暗變動:

raw-image

成果

一切都設定完成之後,就能來跑圖了,等十回合都跑完後,就能來挑選圖片:

raw-image

可以看出一開始,AI在一片漆黑的遮罩之下只能勉強算出光源附近的人物輪廓,但隨著成果圖不斷循環輸入,圖片會越來越清晰,且陰影分佈會依照物體的相對關係和光源強弱改變。

如果是使用ControlNet的canny來固定形狀,有些強烈的陰影分界線會被採樣進來,因此干擾了光影分佈,如果是這樣,可以下載Canny的圖片抹掉這些額外的線條,或者可以改用normal來固定形狀,但可能會造成衣服樣式完全改變。

最後,我挑選了最符合我想像中的夜晚森林有月光又足夠暗的圖片,大約在第七張左右:

raw-image

除了人物的陰影改變了,背景的森林與道路的陰影也完全不同了,更符合月光照明的氛圍,基本符合我的需求!

祝大家AI算圖愉快!

留言
avatar-img
留言分享你的想法!
avatar-img
子不語怪・力・亂・神
33.1K會員
441內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
最近,光頭佬Olivio Sarikas分享了一個使用ControlNet非官方模型來控制txt2img的光影佈局的方法。
Thumbnail
最近,光頭佬Olivio Sarikas分享了一個使用ControlNet非官方模型來控制txt2img的光影佈局的方法。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。
Thumbnail
這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。
Thumbnail
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
Thumbnail
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
光影對成品的品質影響很大,很多光影提示詞都會連帶增加整個成品的許多細節,因為單純的光影其實是依靠許多其他的元素造成的,......
Thumbnail
光影對成品的品質影響很大,很多光影提示詞都會連帶增加整個成品的許多細節,因為單純的光影其實是依靠許多其他的元素造成的,......
Thumbnail
  今天與大家分享快速用Photoshop即可將白天變成夜晚的感覺,這個做法比較粗糙,所以比較適合趕圖時期,如果想要精緻一點的夜晚效果,此篇不太合適,可以在瀏覽器上搜尋其他大師分享的做法,那一起來看看 [快速篇]後製夜晚效果要如何製作吧~
Thumbnail
  今天與大家分享快速用Photoshop即可將白天變成夜晚的感覺,這個做法比較粗糙,所以比較適合趕圖時期,如果想要精緻一點的夜晚效果,此篇不太合適,可以在瀏覽器上搜尋其他大師分享的做法,那一起來看看 [快速篇]後製夜晚效果要如何製作吧~
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News