Stable Diffusion進階 -- 光影控制

更新於 發佈於 閱讀時間約 4 分鐘

前言

這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。最近在STABLE DIFFUSION ART出爐了一個關於光影的文章,提到了好幾個不同的方法,這邊就依照我的使用經驗來整理分享這些方法。

提示詞與進階

最簡單的操縱光影方法就是使用光影類的提示詞,例如:

Stable Diffusion提示詞 -- 光影 裡面提到的光影相關提示詞來為AI指示需要的光影類型。但是這種方法的一個問題是,很多光影提示詞是與其他提示詞有互相關係的,例如在戶外的白天場景,就難以產出灰暗的光影。另外,很多模型使用的素材圖都是同一類型的光影,例如大部分都是真人白天的照片,那就算使用夜晚的提示詞,角色也會出現不自然的高光,彷彿是使用棚拍燈光拍出來的。這種情況下很多提示詞是無法產生效果的。另外,有很多提示詞在訓練時會與其他提示詞產生不必要的關聯,例如背光(backlighting)因為有了「背」,所以算出的圖,角色會背朝鏡頭。

遇到這種情況,一種可行的解法就是配合ControlNet的Canny,Depth或Normal等固定角色的功能來執行局部重繪。

例如下圖,左邊是原始圖。我們想要改成背光效果,就要在img2img中原本的提示詞上額外加入backlighting,然後在ControlNet使用Depth或Canny來固定人物的輪廓,接下來就是生許多圖來找到自己喜歡的背光圖,如右圖所示:

raw-image

圖片提示法

圖片提示法是個很有趣的方法,它使用了Stable Diffusion的一個特色,就是在img2img中使用特製的黑白原始圖,搭配ControlNet的許多模型固定形狀之後,可以使用高強度的Denoising strength追求圖片的最大變化時,對特定區域提示AI要使用特定光影,舉例如下:

raw-image

我以下面的圖片當範例,這個角色的光影是從右上方來的自然光:

(best quality), (masterpiece), 17 years old Germany handsome young man with blonde long hair, (low ponytail hairstyle:1.2), (green eyes:1.2), slight smile
raw-image

如果我想要將圖換成一個正上方來的光源,且將整個畫面的光度降低,就可以在任意的繪圖軟體中新開一個圖,以黑色為底,然後在想要出現光亮的地方圖白,例如下圖:

raw-image

將這個光源樣板放置到img2img的圖片區,然後提示詞直接複製到img2img的提示詞,並且將Denoising strength提高到0.9甚至0.95的高強度。接著在ControlNet裡面將原始圖放入,然後選擇Depth或Canny功能。

raw-image

跑出圖之後,會看到人物的光源已經變成正上方了。而圖片的其他位置因為原本是黑色,所以AI會偏向將這些位置畫成低光度區域。這也是一個降低整體亮度的方法。

raw-image

另外還有利用Inpaint調換局部光影,使用Inpaint Sketch增加其他顏色的光影,也是可以局部更改光影的手法。

祝大家AI算圖快樂!

參照

3 ways to control lighting in Stable Diffusion





留言
avatar-img
留言分享你的想法!
avatar-img
子不語怪・力・亂・神
31.9K會員
439內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
最近,光頭佬Olivio Sarikas分享了一個使用ControlNet非官方模型來控制txt2img的光影佈局的方法。
Thumbnail
最近,光頭佬Olivio Sarikas分享了一個使用ControlNet非官方模型來控制txt2img的光影佈局的方法。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
玩AI手繪也不錯<Stable Diffusion篇> 在當今數碼時代,照片成為人們記錄生活的重要方式。然而,有時我們渴望將照片轉化為更加藝術性的形式,以獨特的風格呈現。這就是人工智能的力量發揮作用的時候了。利用深度學習和計算機視覺技術,研究人員開發出了一種令人驚嘆的AI技術,可以將照片轉換為手繪效
Thumbnail
玩AI手繪也不錯<Stable Diffusion篇> 在當今數碼時代,照片成為人們記錄生活的重要方式。然而,有時我們渴望將照片轉化為更加藝術性的形式,以獨特的風格呈現。這就是人工智能的力量發揮作用的時候了。利用深度學習和計算機視覺技術,研究人員開發出了一種令人驚嘆的AI技術,可以將照片轉換為手繪效
Thumbnail
這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。
Thumbnail
這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。
Thumbnail
這一篇要開始來敘述Stable Diffusion的Automatic1111的基礎功能。 一切都要先從最基本的文生圖(txt2img)開始。這是Automatic1111開啟之後的第一個頁面,也是最常用最重要的功能。
Thumbnail
這一篇要開始來敘述Stable Diffusion的Automatic1111的基礎功能。 一切都要先從最基本的文生圖(txt2img)開始。這是Automatic1111開啟之後的第一個頁面,也是最常用最重要的功能。
Thumbnail
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
Thumbnail
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News