Stable Diffusion進階 -- 漸進式光影（二）
前言
這篇文章要討論一種跟
Stable Diffusion進階 -- 漸進式光影
類似，但是用了多重人物LoRA的時候，同時又要求穩定性的調整光影手法。
以下圖為例，我使用了兩個不同的角色LoRA做出了兩個人物，而我想將圖片的光源改成左上角，且加深對比並改變相對應的光影，除了使用諸如Studio lighting或Film lighting等提示詞之外，使用ControlNet加上Loopback也是可行的方法：
這張圖與之前文章討論的情形不同的地方在於，我使用了兩個LoRA來繪圖，所以要借助Latent Couple加上Composable Lora來指定不同區域繪製不同LoRA角色，若不這樣做，那人物會在十幾回合的循環輸入中慢慢變形，最後變成完全不同的人物。
另外一點是，我發現若是每次都從全黑的遮罩底圖開始輸入，人物與原始圖片會出現差異，在很多場合上這是個問題，因此這次我要使用不一樣的遮罩搭配中低程度的Denoising strength，像在小火慢烤煮食物一樣，讓圖片的輪廓與色彩勁量保持不變，同時讓光影緩緩變化。
方法
首先，開啟任何有支援圖層與透明度的繪圖軟體，例如GIMP或Photopea，將原始圖片匯入，在其上加入全黑圖層，在圖層上用白色或其他高明度的顏色點出光源的位置，再調整圖層透明度，讓整張圖變成類似透過黑色玻璃的效果：
將這張套上遮罩的圖片輸入img2img，然後開啟Composable Lora以及Latent Couple，將兩個角色圈選起來，輸入他們各自的提示詞：
產生的提示詞會像這樣：
(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, fantasy, indoor, (twilight:1.5), wooden floor with carpet, wooden ceiling, red brick wall, fireplace
AND (extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Sho16, 1boy, blonde hair, low ponytail, wearing white tunic, fantasy, right arm up <lora:Sho25:0.4>
AND (extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Hana, surprised, wide-eyed, wearing white kimono, long loose hair, long sleeves, fantasy, right arm up <lora:Hana:0.4>
第一段提示詞是全圖背景，第二段提示詞是針對塗上藍色遮罩的男角色，第三段提示詞是針對塗上紅色遮罩的女角色。
接著是img2img的設定，為了不讓角色的衣服、表情與眼神發生太大變動，我測試不同的Denoising strength，發現低於0.3能大致保持所有的面部特徵：
而ControlNet中，為了保持人物的表情與姿勢，除了使用提示詞之外，還要靠最能固定圖片形狀的canny加上人物表情的openpose_face來牽制線條的變形：
設定完成之後，接著設定Loopback。因為追求的是低變動，所以要將回合數設定到20回合以上，配上0.4這種稍高的Final denoising strength，就能緩慢地改變光影：
成果
接著就開始跑圖吧！
可以看到圖形從左上角的明亮光斑，到了最右邊已經順利融合進圖片，而人物身上的光影也在緩慢地改變。理論上可以將最終產生的圖片重新輸入img2img中再跑下一輪20張圖片，讓人物的光影改變更大，但這同時也會對人物產生更明顯的變化，所以要邊跑邊檢查，挑選最符合需求的圖片。
即將進入廣告，捲動後可繼續閱讀
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
每種光線都有它特定的功用，巧妙運用這些光線，就像施展了魔法般，為作品賦予不同的情感和意境，也大大提升作品的視覺效果和感染力，今天跟你介紹八個光線提示詞，來讓作品賦予獨特的情感和意境。
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
光的關鍵字：
▪︎自然光 ｜Natural light
▪︎太陽光｜Sunlight
▪︎晨光 ｜ Morning light
▪︎暖光｜Warm light
▪︎冷光 ｜Cold light
▪︎棚內光 ｜Studio light
▪︎電影光 | Cinematic light
▪︎賽博朋克光
這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
可能包含敏感內容
男女大不同
為了生成貼切原貌的體態『裸體』，這次選用自行安裝的Stable Diffusion生成圖像。
註：以下所生成圖像的裸體之重點部位，均已馬賽克（pixelate）處理。
很久以前，在一個遼闊的海岸邊，有一個美麗的花園，名叫伊甸園...
這篇要運用自動遮罩、重繪、批次的技巧，幫同一個人物更換不同背景。
自動遮罩
自動遮罩採用Segment Anything這個節點組，載入圖片後可以依指定的提示詞自動產生遮罩圖像，這邊我要更換的是背景，所以先讓AI抓出人物後，再反轉遮罩範圍輸出，為了讓重繪圖像不要過於生硬，將遮罩進行了高斯模糊。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
每種光線都有它特定的功用，巧妙運用這些光線，就像施展了魔法般，為作品賦予不同的情感和意境，也大大提升作品的視覺效果和感染力，今天跟你介紹八個光線提示詞，來讓作品賦予獨特的情感和意境。
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
光的關鍵字：
▪︎自然光 ｜Natural light
▪︎太陽光｜Sunlight
▪︎晨光 ｜ Morning light
▪︎暖光｜Warm light
▪︎冷光 ｜Cold light
▪︎棚內光 ｜Studio light
▪︎電影光 | Cinematic light
▪︎賽博朋克光
這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
可能包含敏感內容
男女大不同
為了生成貼切原貌的體態『裸體』，這次選用自行安裝的Stable Diffusion生成圖像。
註：以下所生成圖像的裸體之重點部位，均已馬賽克（pixelate）處理。
很久以前，在一個遼闊的海岸邊，有一個美麗的花園，名叫伊甸園...
這篇要運用自動遮罩、重繪、批次的技巧，幫同一個人物更換不同背景。
自動遮罩
自動遮罩採用Segment Anything這個節點組，載入圖片後可以依指定的提示詞自動產生遮罩圖像，這邊我要更換的是背景，所以先讓AI抓出人物後，再反轉遮罩範圍輸出，為了讓重繪圖像不要過於生硬，將遮罩進行了高斯模糊。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。