Stable Diffusion進階 -- 雷光變幻!

更新於 發佈於 閱讀時間約 6 分鐘

之前曾經碰過一個有趣的問題:如何替人物的肢體加上纏繞的魔法效果。

這個問題困難的地方在於, 這種類型的動作通常不在AI訓練圖的範圍內,所以它對於很多奇幻世界的概念是一無所知的。在這種情況下,創作者與AI其實有點像是在一艘在迷霧中的海洋航行的船,創作者身為船長,必須下指令給各個AI船員,在霧中穿過暗礁,靠著船長自己的記憶與想像來策劃航行路徑。

基本上,產生奇幻世界構圖與特效的方法,除了用已有的圖來做借圖生圖之外,另一種就是在ControlNet的控制下,用img2img與inpaint互相切換的控制漸變法

這種方法的好處是,不只是運用在奇幻世界上,這種方法也可以用在大部分引導AI產生特定效果的情況。

我們從這張圖開始:

雷系法師

雷系法師

我希望可以將雷電條紋纏繞在法師的手臂上,這時候要先從將圖傳入inpaint開始,將整條手臂選起來,然後設定inpaint:

inpaint設定

inpaint設定

這邊我們將Denoising strength弄到0.7以上,然後將正面提示詞刪除乾淨,只留下我們想要的雷電元素:

(electrical arc:1.5), (lightning:1.5)
(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres

接著,為了將手跟手指等肢體固定下來,我們必須使用ControlNet的openpose_hand跟depth來固定手,以及手的輪廓:

ControlNet的openpose_hand

ControlNet的openpose_hand

ControlNet的depth

ControlNet的depth

這時我使用的depth模型,我只給了0.5的權重,這樣才不會對畫面上的物件帶來太多的限制。

當一切都設置好之後,開始試跑幾張圖,會發現大部分的圖都毫無雷電的痕跡,因為對AI來說,這種要求真的沒聽過。有時候必須將Denoising strength開到0.9才會出現一些效果:

有一點雷電纏繞的感覺了

有一點雷電纏繞的感覺了

如果就這樣滿足的話,效果其實一點也不明顯,這時候就到了「漸進」的步驟了。我們用Send to Inpaint按鈕將完成圖重新送進inpaint面板,然後用undo按鈕將之前選取的區域取消,重新選取其他我們想要增加雷電紋路的地方,繼續一樣的步驟。

在這一部分,人類的創意非常重要。因為在這種地方,很多概念是AI在訓練時沒有經歷的,有些甚至是人類都沒有經歷過的藝術創作,在這時候必須依靠人類腦海裡的想像來揀選過濾產出的圖,把稍微靠近自己想像的圖丟進去下一輪產圖,不斷修改inpaint的選取範圍,以引導AI達到目標。

在這個時候,我必須不斷調整提示詞的權重,變更inpaint的範圍,有些已經產生雷電纏繞的地方必須移出選取區,否則下一回合雷電可能消失,有些地方衣服樣式崩毀,必須退回上幾張圖加入提示衣物樣式與顏色的提示詞重算,有時候改變不想太大,還要調整Denoising strength。不斷地試錯、回朔重算,慢慢推向自己想要的效果。

在經過幾輪的漸進算圖後,我得到了這個成果:

雷電滿滿

雷電滿滿

此時,我們已經有了足夠的雷電紋路,問題是畫面上許多被inpaint選取過的地方,也改變了圖片的背景,而新增的雷電是新的光源,因此許多地方的陰影與色彩也需要相應的改變。

這時就是控制漸變法的最後打磨階段。把圖傳進inpaint之後,將原本的算圖的提示詞全部還原回去,再將不想被變動的地方選取起來,然後使用inpaint not masked選項來重繪整張圖,以我為例,我選取了眼睛與手臂的部分,讓AI知道我需要微調整張圖的光影效果,然後以Denoising strength在0.2到0.3的低權重下限制重繪的幅度。

再得到滿意的效果並經由 Stable Diffusion進階 -- 臉崩修復 提到的4x-UltraSharp來提升畫質,我們得到了這樣的成果圖:

成果圖

成果圖

祝大家算圖愉快!


進階技巧目錄:

留言
avatar-img
留言分享你的想法!
Fly Angel-avatar-img
2023/05/13
Fly Angel-avatar-img
2023/05/13
Fly Angel-avatar-img
2023/05/13
Fly Angel-avatar-img
2023/05/13
類似的情景我會使用提詞來強化,magic circle、magic thunder、magic ball ,,,,,等等。然後再以上提詞在後加上強烈的形容詞,power、radiation、god ray....等等
Fly Angel-avatar-img
2023/05/13
avatar-img
子不語怪・力・亂・神
28.3K會員
430內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
本篇要來分享一下製作 (漫畫)姊妹會秘儀時用到的各種AI生成技巧。 很多時候,為了將心中一個想法實現,必須用上許多自己原先不會的技巧,雖然過程是痛苦的、掙扎的,但是這樣一點一滴邁向終點,當到達時,就會發現收穫的不只是成果,還有一路上學到的新技能。
Thumbnail
本篇要來分享一下製作 (漫畫)姊妹會秘儀時用到的各種AI生成技巧。 很多時候,為了將心中一個想法實現,必須用上許多自己原先不會的技巧,雖然過程是痛苦的、掙扎的,但是這樣一點一滴邁向終點,當到達時,就會發現收穫的不只是成果,還有一路上學到的新技能。
Thumbnail
來講各種不同的局部重繪(Inpaint)設定適合用在哪些情況。 目前局部重繪提供四種不同的填充內容(Masked content):fill,original,latent noise,latent nothing,這四種方法填充的東西都不一樣。使用的情況也都不同。
Thumbnail
來講各種不同的局部重繪(Inpaint)設定適合用在哪些情況。 目前局部重繪提供四種不同的填充內容(Masked content):fill,original,latent noise,latent nothing,這四種方法填充的東西都不一樣。使用的情況也都不同。
Thumbnail
今天這一篇,我們要從實測的角度開始來學習怎麼掌握Stable Diffusion的咒語(Prompt),我們會一步一步從最基本的Prompt開始,慢慢的把細節加上去,拆解Prompt裡面的元素,並且實測每個步驟的圖片給大家看,這樣大家在調製自己的風格的時候也能更清楚Prompt裡面的元素,才不會總是
Thumbnail
今天這一篇,我們要從實測的角度開始來學習怎麼掌握Stable Diffusion的咒語(Prompt),我們會一步一步從最基本的Prompt開始,慢慢的把細節加上去,拆解Prompt裡面的元素,並且實測每個步驟的圖片給大家看,這樣大家在調製自己的風格的時候也能更清楚Prompt裡面的元素,才不會總是
Thumbnail
這篇文章將會講述《AI繪圖合遊戲設計》的全部項目與文章,分享項目感想與每一篇文章的摘要,最後述說這個專題的體悟。
Thumbnail
這篇文章將會講述《AI繪圖合遊戲設計》的全部項目與文章,分享項目感想與每一篇文章的摘要,最後述說這個專題的體悟。
Thumbnail
這個問題困難的地方在於, 這種類型的動作通常不在AI訓練圖的範圍內,所以它對於很多奇幻世界的概念是一無所知的。在這種情況下,創作者與AI其實有點像是在一艘在迷霧中的海洋航行的船。
Thumbnail
這個問題困難的地方在於, 這種類型的動作通常不在AI訓練圖的範圍內,所以它對於很多奇幻世界的概念是一無所知的。在這種情況下,創作者與AI其實有點像是在一艘在迷霧中的海洋航行的船。
Thumbnail
藉由角色、場景、介面、道具、紋理,在些在遊戲設計中美術需要完成的工作內容,來探尋並確認 AI 繪圖在遊戲設計中的適用範圍,確立哪些事情是可以藉由 AI 繪圖來完成,哪些內容必須要由專業人員輔助。
Thumbnail
藉由角色、場景、介面、道具、紋理,在些在遊戲設計中美術需要完成的工作內容,來探尋並確認 AI 繪圖在遊戲設計中的適用範圍,確立哪些事情是可以藉由 AI 繪圖來完成,哪些內容必須要由專業人員輔助。
Thumbnail
曾幾何時,我們因為現實,摒棄了想像的能力。 AI 是否重新幫我們找回來?
Thumbnail
曾幾何時,我們因為現實,摒棄了想像的能力。 AI 是否重新幫我們找回來?
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News