Stable Diffusion進階 -- 製作角色設定圖

閱讀時間約 6 分鐘
角色設定圖

前言

今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。
在一兩個月之前,要製作角色設定圖這種多面向且高度一致的人物圖,除了用Textual Inversion或者LoRA之外,還有用ControlNet的方法,經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
這個方法主要是運用了簡單的ControlNet openpose功能,以及Inpaint來製作。不需要用到Textual Inversion或者LoRA。

第一步,配合骨架圖出圖

首先,在txt2img裏面,使用這樣的正面提示詞:
(character sheet of the same exact Vallaria wearing black beret with golden rim and intricate [white|golden] robe and black cloak),
(((white background))), (((simple studio background))), reference sheet,
((fantasy)), ((kind smiling)), real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, detailed face and breast, beautiful eyes, detailed eyes, perfect body, perfect breasts, perfect face,
(best quality, masterpiece), (realistic), photorealistic, RAW photo
<lora:VallariaV2:0.35>
第一段是交代人物的基本構造,在這例我使用自製的人物LoRA配合特定衣飾,然後用character sheet of the same exact當開頭,讓AI知道我們要繪製的是角色設定稿。
第二段交代AI使用簡單的白背景與工作室背景,免得AI畫出太多背景,干擾設定稿的質感。
第三四段添加許多修飾詞來提高整體氛圍與質感,例如我用高權重指定奇幻風,並且人物要微笑。
之後是最重要的一步,請打開ControlNet,使用Openpose,並使用繪畫人物設定稿專用的骨架圖。網路上有很多骨架圖,我使用的是這幾張
最左是背面,最右是半身像
最左是正面,最右是半身像
同上一張,但是最右沒有半身像
通常第一張的尺寸我會設定為1024X512 (二比一),這樣算圖才快,能夠一次產個十幾張不同的圖讓我挑選最滿意的圖進行下一步:
ControlNet的openpose設定
我以這張圖來進行下一步:
挑中的圖片

第二步,放大並修臉

這張圖,右邊半身像的表情與服裝正是我要的,但是左邊的角色旋轉圖問題很大,第一是臉整個都崩了,看了晚上都要做惡夢了。第二個是最左邊的角色圖,帽子長了角。
臉崩的問題主要是因為我們使用的模組,通常是專精於產生漂亮半身像與頭像,例如我使用的RealDosMix,對於全身圖、動作圖等圖不熟,AI很容易算到臉崩或肢體崩,此時我們就需要針對這些部位修圖。
首先,將第一步的圖用send to img2img這個按鈕送進img2img,然後將他擴展最少50%。以我的例子,就是擴展到1536X768,這樣AI才能在之後的步驟修臉。而Reszie mode選擇Just resize
Just resize(latent upscale)這個選項放大出來的圖會糊掉,但是也會產生一種朦朧美,看個人需求。
另外,別忘了把txt2img的ControlNet設定也重複在這邊設定一次,否則擴圖之後人物姿勢可能會跑掉。
放大圖片50%
圖片成功放大之後,請按Send to inpaint,將圖送進部分重繪。
在這邊,要將人物崩掉的臉與出錯的服飾圈選起來:
把崩掉的部分都選起來
接著將inpaint的參數設定好:
  • Mask content選擇original,告訴AI其實我要的結果跟原圖差不多,這樣出來的臉才會跟整體畫風契合。
  • Inpaint area選擇Only masked。如果選成Whole picture,最後臉還是會崩掉。
  • Denoising strength選擇低於0.5,太高人物的頭可能會歪掉。
Inpaint的設定
至於為什麼Inpaint area要選擇Only masked,這是因為這樣等於告訴AI,被選取的區域是要注重的地方,AI會將你選取的區域放大,針對放大區域重繪之後,再縮小並合併回原圖。這時你善於繪製頭像與半身像的模組就能發揮特長了。
當圖輸出之後,如果有跟原畫不協調的部分,可以將成果圖再輸入回img2img,然後用低Denoising strength再輸出一次,就能得到更一致的結果:
最後的角色設定稿

最後

現在已經有了很多方法可以大量隨機生成角色,配上上面第一步設定,就能大量做出人物設計圖,讓PM與美工在角色生成與溝通這環節省下大量時間,限制角色的因素,只剩下顯卡效能與電費還有設定提示詞的創意了。
下面就是一個生成大量隨機角色的方法(從13:20處開始):
享受AI算圖的快樂吧!

進階技巧目錄:
為什麼會看到廣告
19.7K會員
304內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言0
查看全部
發表第一個留言支持創作者!
這篇文章來講一個很少人用,但是很有趣的提示詞用法 -- 提示詞編輯(Prompt editing)。
今天來講一個很少人用,但是非常好用的訣竅,就是將提示詞儲存在Automatic1111裡面。 在知道這个功能之前,我都是將搜集來的提示詞存在記事本裡面,但是這樣的壞處是每次都要往返記事本,一個一個複製貼上到相對應的位置,很不方便,也不好管理。但其實A1111本身就提供了儲存你的提示詞的功能了!
姿勢是原始Stable Diffusion比較難處理的一部分,在沒有ControlNet的幫助下,要幫角色調整出一個你喜歡的姿勢,必須花許多時間調整。
這個方法主要是借用Google Colab的威力。 這次要介紹的LoRA訓練法,特別適用於下列對象: nVidia顯卡不夠高級,跑不動訓練程序 根本不是nVidia顯卡的使用者,Stable Diffusion的訓練程序不支援 不想花錢花電力花顯卡時間訓練
本文教導你如何準備LoRA訓練的素材與選擇合適的提示詞。
奮戰整整三天,終於可以讓妳在任何模組上出現,這感覺真好。😊 來說說為何使用LoRA,還有它的一些特性。
這篇文章來講一個很少人用,但是很有趣的提示詞用法 -- 提示詞編輯(Prompt editing)。
今天來講一個很少人用,但是非常好用的訣竅,就是將提示詞儲存在Automatic1111裡面。 在知道這个功能之前,我都是將搜集來的提示詞存在記事本裡面,但是這樣的壞處是每次都要往返記事本,一個一個複製貼上到相對應的位置,很不方便,也不好管理。但其實A1111本身就提供了儲存你的提示詞的功能了!
姿勢是原始Stable Diffusion比較難處理的一部分,在沒有ControlNet的幫助下,要幫角色調整出一個你喜歡的姿勢,必須花許多時間調整。
這個方法主要是借用Google Colab的威力。 這次要介紹的LoRA訓練法,特別適用於下列對象: nVidia顯卡不夠高級,跑不動訓練程序 根本不是nVidia顯卡的使用者,Stable Diffusion的訓練程序不支援 不想花錢花電力花顯卡時間訓練
本文教導你如何準備LoRA訓練的素材與選擇合適的提示詞。
奮戰整整三天,終於可以讓妳在任何模組上出現,這感覺真好。😊 來說說為何使用LoRA,還有它的一些特性。
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
以下講一些有關stable diffusion webui的幾個小操作,都不難,也都很實用,也許其實你早就知道了,這些都不是什麼驚奇的事,但我發現似乎並不是所有人都知道這些事。 這些真的都是一些雞毛蒜皮的小事,不足以獨立寫成一篇教學文章,所以我就簡單的匯整一下就好。
Thumbnail
stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
先說結論:   演算Img2Img時,Sampling Methods(取樣方法)中Karras類型比較忠於原圖,非Karras類型比較放飛自我。
Thumbnail
AI 每天每週都在進步,我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝,很快就推出新版了,所以,我把 Automatic1111 最新版本安裝方式寫在這裡,以便盡我所能為各位讀者更新。 建議使用 windows 桌機PC,具有 Nvidia GTX1660以上等級的獨立顯示卡,算圖會比較容易。
Thumbnail
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009 把這個bat右鍵筆記本編輯會發現,set PYTHON=路徑是空的,那我們就去把後面的路徑補上改成下面這個 set PYTHON=D:\StableDiffusion\system\python\python.exe 接下來
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
以下講一些有關stable diffusion webui的幾個小操作,都不難,也都很實用,也許其實你早就知道了,這些都不是什麼驚奇的事,但我發現似乎並不是所有人都知道這些事。 這些真的都是一些雞毛蒜皮的小事,不足以獨立寫成一篇教學文章,所以我就簡單的匯整一下就好。
Thumbnail
stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
先說結論:   演算Img2Img時,Sampling Methods(取樣方法)中Karras類型比較忠於原圖,非Karras類型比較放飛自我。
Thumbnail
AI 每天每週都在進步,我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝,很快就推出新版了,所以,我把 Automatic1111 最新版本安裝方式寫在這裡,以便盡我所能為各位讀者更新。 建議使用 windows 桌機PC,具有 Nvidia GTX1660以上等級的獨立顯示卡,算圖會比較容易。
Thumbnail
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009 把這個bat右鍵筆記本編輯會發現,set PYTHON=路徑是空的,那我們就去把後面的路徑補上改成下面這個 set PYTHON=D:\StableDiffusion\system\python\python.exe 接下來