Stable Diffusion進階 -- 漸進式光影(二)

更新於 發佈於 閱讀時間約 5 分鐘
光源從左上來

光源從左上來

前言

這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。

以下圖為例,我使用了兩個不同的角色LoRA做出了兩個人物,而我想將圖片的光源改成左上角,且加深對比並改變相對應的光影,除了使用諸如Studio lighting或Film lighting等提示詞之外,使用ControlNet加上Loopback也是可行的方法:

原始圖

原始圖

這張圖與之前文章討論的情形不同的地方在於,我使用了兩個LoRA來繪圖,所以要借助Latent Couple加上Composable Lora來指定不同區域繪製不同LoRA角色,若不這樣做,那人物會在十幾回合的循環輸入中慢慢變形,最後變成完全不同的人物。

另外一點是,我發現若是每次都從全黑的遮罩底圖開始輸入,人物與原始圖片會出現差異,在很多場合上這是個問題,因此這次我要使用不一樣的遮罩搭配中低程度的Denoising strength,像在小火慢烤煮食物一樣,讓圖片的輪廓與色彩勁量保持不變,同時讓光影緩緩變化。

方法

首先,開啟任何有支援圖層與透明度的繪圖軟體,例如GIMP或Photopea,將原始圖片匯入,在其上加入全黑圖層,在圖層上用白色或其他高明度的顏色點出光源的位置,再調整圖層透明度,讓整張圖變成類似透過黑色玻璃的效果:

加上遮罩的原始圖

加上遮罩的原始圖

將這張套上遮罩的圖片輸入img2img,然後開啟Composable Lora以及Latent Couple,將兩個角色圈選起來,輸入他們各自的提示詞:

Composable Lora的設定

Composable Lora的設定

Latent Couple的設定

Latent Couple的設定

Latent Couple的提示詞設定

Latent Couple的提示詞設定

產生的提示詞會像這樣:

(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, fantasy, indoor, (twilight:1.5), wooden floor with carpet, wooden ceiling, red brick wall, fireplace
AND (extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Sho16, 1boy, blonde hair, low ponytail, wearing white tunic, fantasy, right arm up <lora:Sho25:0.4>
AND (extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Hana, surprised, wide-eyed, wearing white kimono, long loose hair, long sleeves, fantasy, right arm up <lora:Hana:0.4>

第一段提示詞是全圖背景,第二段提示詞是針對塗上藍色遮罩的男角色,第三段提示詞是針對塗上紅色遮罩的女角色。

接著是img2img的設定,為了不讓角色的衣服、表情與眼神發生太大變動,我測試不同的Denoising strength,發現低於0.3能大致保持所有的面部特徵:

img2img的設定

img2img的設定

而ControlNet中,為了保持人物的表情與姿勢,除了使用提示詞之外,還要靠最能固定圖片形狀的canny加上人物表情的openpose_face來牽制線條的變形:

ControlNet的openpose_face設定

ControlNet的openpose_face設定

ControlNet的canny設定

ControlNet的canny設定

設定完成之後,接著設定Loopback。因為追求的是低變動,所以要將回合數設定到20回合以上,配上0.4這種稍高的Final denoising strength,就能緩慢地改變光影:

Loopback設定

Loopback設定

成果

接著就開始跑圖吧!

跑圖結果

跑圖結果

可以看到圖形從左上角的明亮光斑,到了最右邊已經順利融合進圖片,而人物身上的光影也在緩慢地改變。理論上可以將最終產生的圖片重新輸入img2img中再跑下一輪20張圖片,讓人物的光影改變更大,但這同時也會對人物產生更明顯的變化,所以要邊跑邊檢查,挑選最符合需求的圖片。


留言
avatar-img
留言分享你的想法!
子不語-avatar-img
發文者
2023/07/18
Stable Diffusion練習,哈娜與修的談判提及了這篇文章,趕快過去看看吧!
avatar-img
子不語怪・力・亂・神
29.5K會員
431內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。
Thumbnail
這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
Thumbnail
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
Thumbnail
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
Thumbnail
本文教導你如何準備LoRA訓練的素材與選擇合適的提示詞。
Thumbnail
本文教導你如何準備LoRA訓練的素材與選擇合適的提示詞。
Thumbnail
光影對成品的品質影響很大,很多光影提示詞都會連帶增加整個成品的許多細節,因為單純的光影其實是依靠許多其他的元素造成的,......
Thumbnail
光影對成品的品質影響很大,很多光影提示詞都會連帶增加整個成品的許多細節,因為單純的光影其實是依靠許多其他的元素造成的,......
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News