Stable Diffusion進階 -- 漸進式光影
更新於 2023/07/10閱讀時間約 4 分鐘
前言
本篇文章要討論一個在出擬真或真人類型的圖片時，常常遇到的問題，就是光源太亮。
在許多熱門模型上，由於使用太多大白天模特兒的圖片，或者攝影棚高光圖片來訓練，所以在弄出人物時，儘管場所設定在夜間，也會出現不自然的超高光，或者整個照片的光源陰影不遵照提示詞來佈局的問題。
之前介紹的
Stable Diffusion提示詞 -- 光影
與
Stable Diffusion進階 -- 光影控制
都是可行的光影控制方法，而本篇要針對的是更細微的控制，將已經生成的圖片重新更改光源與陰影，且產生不同程度的明暗程度讓製作者可以挑選最佳的光影成果。
方法
我們先使用txt2img生成一張在夜晚森林之中的角色圖：
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.3), extreme detailed, Hana, fighting stance, angry, clenched teeth, floating hair, wearing white kimono and white cape, long sleeves, hand holding a wooden club \(weapon\), night, half moon, moonlight, fantasy, forest <lora:Hana:0.4>
許多時候模型生成的圖片並不一定依照我們的想法來佈局明暗與光影，有時候是因為模型訓練時用了太多模特兒的攝影棚拍照片，或者LoRA在訓練時缺乏多樣化的光影，或者使用太多提示詞互相牽制，導致某些強烈的光影效果被取消掉。總之，在嘗試各種提示詞也無法產生想要的光影時，可以試試看利用ControlNet配上Loopback的手段來產生一整批不同明暗程度的圖片，再從裡面挑出最好的結果。
首先，在本例中，我想要在畫面中央上方製造一個月亮當作光源。我開啟任意繪圖軟體，例如GIMP，打開新畫布，選擇全黑背景，然後用畫筆弄出白色光源遮罩，將這張圖輸入到img2img裡面，提示詞則保持與原始圖一樣：
接著在img2img的設定中，使用Denoising strength 0.4這樣的中等權重：
接著開啟ControlNet，設定兩組。第一組使用Openpose以固定圖片生成時人物的姿勢不跑掉，使用ContorlNet is more important：
第二組的ControlNet使用canny（邊緣偵測）或者normal（法線圖）皆可，用以固定原始圖片裡面人物的形狀與表情，使用ContorlNet is more important：
最後，最重要的是Loopback的設定，藉由Loopback的循環輸入能力，我們才能將一片漆黑的基本遮罩慢慢還原出整張圖。在這邊我設定10回合，且Final denosing strength設定為0.75的高權重，在後幾回合產生較大的明暗變動：
成果
一切都設定完成之後，就能來跑圖了，等十回合都跑完後，就能來挑選圖片：
可以看出一開始，AI在一片漆黑的遮罩之下只能勉強算出光源附近的人物輪廓，但隨著成果圖不斷循環輸入，圖片會越來越清晰，且陰影分佈會依照物體的相對關係和光源強弱改變。
如果是使用ControlNet的canny來固定形狀，有些強烈的陰影分界線會被採樣進來，因此干擾了光影分佈，如果是這樣，可以下載Canny的圖片抹掉這些額外的線條，或者可以改用normal來固定形狀，但可能會造成衣服樣式完全改變。
最後，我挑選了最符合我想像中的夜晚森林有月光又足夠暗的圖片，大約在第七張左右：
除了人物的陰影改變了，背景的森林與道路的陰影也完全不同了，更符合月光照明的氛圍，基本符合我的需求！
祝大家AI算圖愉快！
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃，這是一篇進階教學文章，需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
2023/Apr/8 補充更新 - 想訓練AI模型的人，建議正常安裝Python和Git，理由如下：
注意! 以下為不專業解釋~若有錯誤請指教。
使用 ai 產出圖片需要一個附檔名為 .ckpt 的模型訓練檔案~ai 會使用這個訓練檔案內的資訊，產生出我們想畫的圖片出來。
試著玩一下 stable diffusion，一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃，這是一篇進階教學文章，需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
2023/Apr/8 補充更新 - 想訓練AI模型的人，建議正常安裝Python和Git，理由如下：
注意! 以下為不專業解釋~若有錯誤請指教。
使用 ai 產出圖片需要一個附檔名為 .ckpt 的模型訓練檔案~ai 會使用這個訓練檔案內的資訊，產生出我們想畫的圖片出來。
試著玩一下 stable diffusion，一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!