Stable Diffusion進階 -- 光影控制

閱讀時間約 3 分鐘

前言

這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。最近在STABLE DIFFUSION ART出爐了一個關於光影的文章,提到了好幾個不同的方法,這邊就依照我的使用經驗來整理分享這些方法。

提示詞與進階

最簡單的操縱光影方法就是使用光影類的提示詞,例如:
Stable Diffusion提示詞 -- 光影 裡面提到的光影相關提示詞來為AI指示需要的光影類型。但是這種方法的一個問題是,很多光影提示詞是與其他提示詞有互相關係的,例如在戶外的白天場景,就難以產出灰暗的光影。另外,很多模型使用的素材圖都是同一類型的光影,例如大部分都是真人白天的照片,那就算使用夜晚的提示詞,角色也會出現不自然的高光,彷彿是使用棚拍燈光拍出來的。這種情況下很多提示詞是無法產生效果的。另外,有很多提示詞在訓練時會與其他提示詞產生不必要的關聯,例如背光(backlighting)因為有了「背」,所以算出的圖,角色會背朝鏡頭。
遇到這種情況,一種可行的解法就是配合ControlNet的Canny,Depth或Normal等固定角色的功能來執行局部重繪。
例如下圖,左邊是原始圖。我們想要改成背光效果,就要在img2img中原本的提示詞上額外加入backlighting,然後在ControlNet使用Depth或Canny來固定人物的輪廓,接下來就是生許多圖來找到自己喜歡的背光圖,如右圖所示:
背光修正

圖片提示法

圖片提示法是個很有趣的方法,它使用了Stable Diffusion的一個特色,就是在img2img中使用特製的黑白原始圖,搭配ControlNet的許多模型固定形狀之後,可以使用高強度的Denoising strength追求圖片的最大變化時,對特定區域提示AI要使用特定光影,舉例如下:
成品與光源對照
我以下面的圖片當範例,這個角色的光影是從右上方來的自然光:
(best quality), (masterpiece), 17 years old Germany handsome young man with blonde long hair, (low ponytail hairstyle:1.2), (green eyes:1.2), slight smile
原始圖
如果我想要將圖換成一個正上方來的光源,且將整個畫面的光度降低,就可以在任意的繪圖軟體中新開一個圖,以黑色為底,然後在想要出現光亮的地方圖白,例如下圖:
img2img放置光源樣板
將這個光源樣板放置到img2img的圖片區,然後提示詞直接複製到img2img的提示詞,並且將Denoising strength提高到0.9甚至0.95的高強度。接著在ControlNet裡面將原始圖放入,然後選擇Depth或Canny功能。
ControlNet設定
跑出圖之後,會看到人物的光源已經變成正上方了。而圖片的其他位置因為原本是黑色,所以AI會偏向將這些位置畫成低光度區域。這也是一個降低整體亮度的方法。
正上方光源成品
另外還有利用Inpaint調換局部光影,使用Inpaint Sketch增加其他顏色的光影,也是可以局部更改光影的手法。
祝大家AI算圖快樂!

參照

13.6K會員
262內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言0
查看全部
發表第一個留言支持創作者!
你可能也想看
迎新活動「方格新手村」:新格友註冊加入方格子,知名日料吃到飽餐券送給你! 👉 還不是 vocus 的會員嗎?點此註冊,參與新手村活動 👈 近期站上也出現了不少新格友,為了歡迎各位的加入,「方格新手村」隨之登場! 即日起,只要是新註冊帳號於活動期間內發佈 3 則文章,就有機會抽獎獲得知名日料吃到飽餐券。原格友也可以一起同樂,我們準備了小任
Thumbnail
2024-06-21
102
什麼人適合國泰世華 CUBE App ?整理5大推薦原因你覺得哪間網銀的 App 最好用? 近幾年,我為了拿到很多家銀行的回饋,辦了很多家銀行的帳戶,數一數至少也有十幾間! 比較下來,國泰世華 CUBE App ,是我用起來最順手的 👍 國泰究竟贏在哪裡呢?讓我整理 5 個原因給大家~
Thumbnail
2024-07-05
47
川普當選,對台股是利多還是利空?川普在槍擊事件中所表現出來的英勇形象,讓他贏得美國總統大選幾乎已成定局。沒想到他隨口的一句話「台灣搶走美國的晶片生意,所以要付保護費」,就讓台積電在短短三天跌掉超過100 元,台股也跌掉1100點以上。台積電、台股會就此一路下跌嗎?未來該如何因應?  
Thumbnail
2024-07-20
73
Stable Diffusion Online網頁版,免費無限生成高質量圖像Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
2024-01-31
11
Stable Diffusion 用 prompt 控制鏡頭距離及角度在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Thumbnail
2023-12-07
9
Stable Diffusion: Advancing Generative Models for Robust andGenerative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
2023-10-25
0
stable-diffusion-webui AUTOMATIC1111在更新1.6版後的八大重點項目stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
發佈在
因人廢言
2023-09-05
7
[AI繪圖]如何用AI生成風格獨特的QR Code 方法二- Stable Diffusion進階應用(二)在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
2023-06-20
5
探索 Stable Diffusion 反向詞本文探討了反向詞(Negative Embedding)的概念,並介紹了在 Stable Diffusion WebUI 中使用的幾種模型,包括 EasyNegative、bad_prompt_version2、bad-hands-5 和 Deep Negative V1.x。這些模型的主要目的是在
Thumbnail
2023-06-03
4
AI工具 - 介紹 Stable Diffusion + ControlNet 在室內設計上的運用前言 目前AI在室內設計領域已經取得了一定的進展,但尚未完全能夠取代室內設計師的工作。AI在室內設計中的應用主要包括幫助設計師進行設計、提供設計建議和測試不同的設計方案等。 室內設計涉及許多複雜的因素,包括空間配置、人性化需求、材料選擇、色彩搭配等。這些方面需要考慮到個人喜好、使用者的需求、環境因素
Thumbnail
如何用 Stable Diffusion 產生高解析度的圖?txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
2023-05-19
4
進化的Automatic1111:Vlad Diffusion - Stable DiffusionVlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
Thumbnail
2023-04-25
12
Stable diffusion低配電腦,免費!stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
2023-04-08
4
迎新活動「方格新手村」:新格友註冊加入方格子,知名日料吃到飽餐券送給你! 👉 還不是 vocus 的會員嗎?點此註冊,參與新手村活動 👈 近期站上也出現了不少新格友,為了歡迎各位的加入,「方格新手村」隨之登場! 即日起,只要是新註冊帳號於活動期間內發佈 3 則文章,就有機會抽獎獲得知名日料吃到飽餐券。原格友也可以一起同樂,我們準備了小任
Thumbnail
2024-06-21
102
什麼人適合國泰世華 CUBE App ?整理5大推薦原因你覺得哪間網銀的 App 最好用? 近幾年,我為了拿到很多家銀行的回饋,辦了很多家銀行的帳戶,數一數至少也有十幾間! 比較下來,國泰世華 CUBE App ,是我用起來最順手的 👍 國泰究竟贏在哪裡呢?讓我整理 5 個原因給大家~
Thumbnail
2024-07-05
47
川普當選,對台股是利多還是利空?川普在槍擊事件中所表現出來的英勇形象,讓他贏得美國總統大選幾乎已成定局。沒想到他隨口的一句話「台灣搶走美國的晶片生意,所以要付保護費」,就讓台積電在短短三天跌掉超過100 元,台股也跌掉1100點以上。台積電、台股會就此一路下跌嗎?未來該如何因應?  
Thumbnail
2024-07-20
73
Stable Diffusion Online網頁版,免費無限生成高質量圖像Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
2024-01-31
11
Stable Diffusion 用 prompt 控制鏡頭距離及角度在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Thumbnail
2023-12-07
9
Stable Diffusion: Advancing Generative Models for Robust andGenerative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
2023-10-25
0
stable-diffusion-webui AUTOMATIC1111在更新1.6版後的八大重點項目stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
發佈在
因人廢言
2023-09-05
7
[AI繪圖]如何用AI生成風格獨特的QR Code 方法二- Stable Diffusion進階應用(二)在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
2023-06-20
5
探索 Stable Diffusion 反向詞本文探討了反向詞(Negative Embedding)的概念,並介紹了在 Stable Diffusion WebUI 中使用的幾種模型,包括 EasyNegative、bad_prompt_version2、bad-hands-5 和 Deep Negative V1.x。這些模型的主要目的是在
Thumbnail
2023-06-03
4
AI工具 - 介紹 Stable Diffusion + ControlNet 在室內設計上的運用前言 目前AI在室內設計領域已經取得了一定的進展,但尚未完全能夠取代室內設計師的工作。AI在室內設計中的應用主要包括幫助設計師進行設計、提供設計建議和測試不同的設計方案等。 室內設計涉及許多複雜的因素,包括空間配置、人性化需求、材料選擇、色彩搭配等。這些方面需要考慮到個人喜好、使用者的需求、環境因素
Thumbnail
如何用 Stable Diffusion 產生高解析度的圖?txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
2023-05-19
4
進化的Automatic1111:Vlad Diffusion - Stable DiffusionVlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
Thumbnail
2023-04-25
12
Stable diffusion低配電腦,免費!stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
2023-04-08
4