Stable Diffusion練習,夢歌

更新於 2024/10/12閱讀時間約 4 分鐘
哈娜與巫娜・莫瑞

哈娜與巫娜・莫瑞

明明才剛認識,卻好像交心許久。
明明連語言都不通,卻可以靠寥寥幾個字與比手畫腳談天說地。
明明文化與外表南轅北轍,但是情感與才思卻如此相通。

她們兩個好像是兩本仕女筆記,互相敞開最害羞的內頁讓對方暢覽。儘管雙方以不同的語言書寫秘密,但頁緣畫滿了各種小花小草小圖示與表情,書寫的筆跡快慢粗細不經意透露了心情與煩惱。

這就是心靈相通的感覺嗎?儘管氤氳水氣冷得哈娜屁股都要結凍了,她依然感覺被幸福醺醉了,臉頰暖烘烘的。

從三月開始到現在,學習AI算圖差不多半年。這半年來,遇過最困難的挑戰,就是如何建構多人構圖。

與單人構圖不同,多人構圖除了要考慮視角、位置、光影、透視與色調等問題,多人肢體與眼神表情的互動也是要考慮的重點。如果需要特定角色,而非隨機角色,那就要使用LoRA來確保人物特徵是正確的。在多人構圖中又會造成LoRA污染其他角色。之前可以使用諸如Composable LoRA(Latent Couple)或者Regional Prompt等外掛插件來幫忙。但是隨著A1111不斷更新,許多插件都中止更新,無法再用。因此,我們必須摸索一些不靠插件,只靠最基本的LoRA加上ControlNet來達到多人圖的手法。

剛好,這半年來跑的各種小說概念插圖裡面,我最滿意的一張圖,就是一張雙人構圖,且只使用了LoRA加上ControlNet來達到的。

這張圖我用在了:

夢歌(四之一) -- Stable Diffusion繪製

夢歌(四之二) -- Stable Diffusion繪製

夢歌(四之三) -- Stable Diffusion繪製

夢歌(四之四) -- Stable Diffusion繪製

之中。

整張圖的建構步驟,可以用下面這個GIF動態檔來簡述:

繪圖過程動態

繪圖過程動態

繪圖步驟

首先,我需要生出一張最基本的雙人openpose姿勢圖,無論是使用人偶App來擺出這樣的姿勢,或者使用真實照片在擷取姿勢都可以,在我的例子裡,我使用真人相片,然後使用dw_openpose_full這個前置處理器來擷取姿勢:

OpenPose姿勢圖

OpenPose姿勢圖

接著使用適當的提示詞,例如2girls。配上ControlNet的openpose來引導AI生出一個姿勢是正確的雙人互動基礎圖:

基礎圖片

基礎圖片

接著,由於不想靠任何分區處理外掛來生圖,我將這張基礎圖片換到inpaint裡面繼續加工。先選擇左邊的人物,然後使用針對角色的提示詞以及角色的特定LoRA,將人物轉換成我要的人物。

請記住將ControlNet的openpose也設定好,尤其要注意,因為我已經給了骨架圖,所以前置處理器要設定成none,要不然人物的姿勢會跑掉:

ControlNet的openpose設定

ControlNet的openpose設定

將第一個人物繪製完成後,圖會變成這樣:

左邊人物繪製完畢

左邊人物繪製完畢

依樣畫葫蘆,將右邊的人物也用inpaint換成我們要的角色:

左右兩邊人物都已置換完畢

左右兩邊人物都已置換完畢

在重繪時,denoising strength都要保持大概0.75到0.8的高強度,才能順利重繪成完全不同的角色。

接下來是細節處理。我使用inpaint sketch功能:

Stable Diffusion基礎 -- 塗鴉(Sketch)

一樣使用高強度的denoising strength來重繪右邊人物的服裝(從華麗的服裝變成簡單的白袍),以及左邊人物的表情(從露齒笑容變成微笑):

服裝與表情置換完畢

服裝與表情置換完畢

最後,開動繪圖軟體,將背景塗上霧氣以營造符合小說內容的氛圍,再將塗好背景霧氣的圖拿回A1111裡面以低denoising strength重新塗佈,讓整體圖片更一致:

完成圖

完成圖

接下來剩下的就是繼續修正小細節,例如改變眼珠的位置讓兩人彼此互視(意外地困難!),將圖片放大之後再修正更多不協調之處等小問題。圖片就完成了!

結語

隨著A1111或ComfyUI等AI算圖工具的演進,很多插件外掛作者會因為種種因素而中斷開發,因此在學習AI算圖時,除了依靠插件外掛之外,最好還是學習更多基本功,讓自己可以不依賴插件外掛而作圖。

這也是我為何很少介紹各種插件外掛的原因。很有可能這個版本非常好用的外掛,到了下一個版本之後就不再更新而無法使用。


祝大家AI算圖愉快!

avatar-img
21.6K會員
365內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
大家目光集中在香儂教授身上。她雙腳大開紮步在岩石頂,頸肩如貓弓起,眼神銳利掃視四周黑暗密林。她左手握拳緩緩舉起,要求隊伍全體靜默,在她灼灼眼神掃視下,不只是人,連馬匹都停止躁動靜了下來。
快點想個辦法啊,妳這個聰明的小笨蛋。 哈娜煩躁地搔搔頭,一頭黑長髮被抓得都要起毛球了。她的腦袋瓜正在高速運轉,想方設法搞出個可行的策略,
「哈娜,妳可以嗎?」香儂教授問。 我不行啊!我只會四十幾個小惡鬼詞彙,還是「吃飯飯」、「打架架」這種幼幼版的!哈娜在心中哀嚎。 「可以,我可以的。」哈娜展露出無比堅定的眼神點頭回應。
起先,只有一隻渡鴉繞著林間空地盤旋。牠的翅膀割出一道黑暗的弧線,像在邀請更多同類加入。眨眼間一大群渡鴉如烏雲從四面八方湧來,圍繞著空地形成一道深墨色的圓圈,似乎在回應著某種野性的召喚。
當兩人手指扣在一起後,史卡特拿起桌上的黃布,一抖揚開蓋著兩人的手。 史卡特的人狼爪隔著布蓋在兩人手上,唸道:「依照史卡拉貝的古老習俗,女神的庇佑,在此的議價,只有雙方與神明知曉,成交之後必須忠誠履約,違者將失去比性命還重要的信譽,以及眾神的眷愛。」
小惡鬼慘叫一聲,噴出一道慘綠的血跡,扭曲的身體摔進河水裡。 哈娜吃驚發現自己還活著。 我打贏了?!
大家目光集中在香儂教授身上。她雙腳大開紮步在岩石頂,頸肩如貓弓起,眼神銳利掃視四周黑暗密林。她左手握拳緩緩舉起,要求隊伍全體靜默,在她灼灼眼神掃視下,不只是人,連馬匹都停止躁動靜了下來。
快點想個辦法啊,妳這個聰明的小笨蛋。 哈娜煩躁地搔搔頭,一頭黑長髮被抓得都要起毛球了。她的腦袋瓜正在高速運轉,想方設法搞出個可行的策略,
「哈娜,妳可以嗎?」香儂教授問。 我不行啊!我只會四十幾個小惡鬼詞彙,還是「吃飯飯」、「打架架」這種幼幼版的!哈娜在心中哀嚎。 「可以,我可以的。」哈娜展露出無比堅定的眼神點頭回應。
起先,只有一隻渡鴉繞著林間空地盤旋。牠的翅膀割出一道黑暗的弧線,像在邀請更多同類加入。眨眼間一大群渡鴉如烏雲從四面八方湧來,圍繞著空地形成一道深墨色的圓圈,似乎在回應著某種野性的召喚。
當兩人手指扣在一起後,史卡特拿起桌上的黃布,一抖揚開蓋著兩人的手。 史卡特的人狼爪隔著布蓋在兩人手上,唸道:「依照史卡拉貝的古老習俗,女神的庇佑,在此的議價,只有雙方與神明知曉,成交之後必須忠誠履約,違者將失去比性命還重要的信譽,以及眾神的眷愛。」
小惡鬼慘叫一聲,噴出一道慘綠的血跡,扭曲的身體摔進河水裡。 哈娜吃驚發現自己還活著。 我打贏了?!
本篇參與的主題活動
先前麥克買了在預算及性能方面都十分複合需求的NXTPAPER 11平板,但拿到辦公室使用後便發現因為時不時有簡報需求,主機本身不支援有線視訊輸出實在是非常不方便,因又開始尋找新歡。最終麥克選擇了算是還滿熟悉的品牌小米旗下的小米平板6,以下為麥克這一個月下來的使用心得。
從預計的十月底出貨經過重重波折,Pubu自家開發的10寸彩色閱讀器Pubook Pro終於是送到第一批集資者手中了。究竟這台閱讀器有沒有本事撼動目前的電子紙閱讀器市場?有達到集資時承諾的各項功能嗎?且讓身為首批集資者之一的麥克跟大家談談收到主機後使用數天的感想。
Steam Deck 迎來大改版,最重要的更新就是換成 OLED 螢幕。使用 OLED 螢幕帶來更好看的顏色,大小還小幅提升到 7.4 吋。關係續航力的電池也從 40 瓦小時升級到 50 瓦小時, 3A 大作都可以多玩一小時呢!這麼香的更新,怎麼不給他買下去呢 😄
先前麥克買了在預算及性能方面都十分複合需求的NXTPAPER 11平板,但拿到辦公室使用後便發現因為時不時有簡報需求,主機本身不支援有線視訊輸出實在是非常不方便,因又開始尋找新歡。最終麥克選擇了算是還滿熟悉的品牌小米旗下的小米平板6,以下為麥克這一個月下來的使用心得。
從預計的十月底出貨經過重重波折,Pubu自家開發的10寸彩色閱讀器Pubook Pro終於是送到第一批集資者手中了。究竟這台閱讀器有沒有本事撼動目前的電子紙閱讀器市場?有達到集資時承諾的各項功能嗎?且讓身為首批集資者之一的麥克跟大家談談收到主機後使用數天的感想。
Steam Deck 迎來大改版,最重要的更新就是換成 OLED 螢幕。使用 OLED 螢幕帶來更好看的顏色,大小還小幅提升到 7.4 吋。關係續航力的電池也從 40 瓦小時升級到 50 瓦小時, 3A 大作都可以多玩一小時呢!這麼香的更新,怎麼不給他買下去呢 😄
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
最近一直在嘗試把一個夢想許久的小說插畫做出來。 我想要做出一個大魄力的畫面,敘述小說女主角大開殺戒的那一瞬間。 測試了三個不同的版本,終於給我做出來了!
Thumbnail
最近在嘗試使用不同的AI生圖方式混合出圖的方式,採用A平台的優點,並用B平台後製的手法截長補短,創造出自己更想要的小說場景,效果不錯,現在以這張圖為例,來講一下我的製作步驟。
Thumbnail
最近有空時就在看如何使用AI作圖的方式製作出有魄力的動作與構圖,恰巧在Civitai這個AI作圖網站上找到了一些有趣的人物姿態,因此發想了一些構圖,依照這些構想做出來的圖效果還算可以接受,因此在這邊記錄一下過程與步驟。
Thumbnail
為了配合小說「烈火之心」試閱章節(四) -- Stable Diffusion繪製 的情節,我需要生成一副高動態的唯美圖樣,為此我使用了幾個技巧做到,就在這邊記錄下來以為後用。
Thumbnail
這篇來談談混合使用各種AI生圖方式,將AI當成素材庫,最後在繪圖軟體中整合排版的經驗談。 這張圖,四美圖,從生成第一張圖到最後拋光,是使用寫「寫作課」筆記時的零碎時間弄的,實際時數大概12小時。
Thumbnail
這個應用情境可能是,如果你有自己的產品想要以QRcode來行銷,而「文生圖」(txt2img)的結果又無法與你的實際想像契合時,那麼用你的實際產品做為基底的圖生圖(img2img)QRcode就是一個不錯的選項。
Thumbnail
這次的測試純粹是我個人好奇同一組繪圖prompt分別使用在真人風格與動漫風格的model下,會有什麼差別? 真人風格的model使用Basil mix,動漫風格的model使用anything-v4.5。Lora來源為C站的瑪奇瑪Lora。
Thumbnail
本教學使用Automatic 1111介面   AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
最近一直在嘗試把一個夢想許久的小說插畫做出來。 我想要做出一個大魄力的畫面,敘述小說女主角大開殺戒的那一瞬間。 測試了三個不同的版本,終於給我做出來了!
Thumbnail
最近在嘗試使用不同的AI生圖方式混合出圖的方式,採用A平台的優點,並用B平台後製的手法截長補短,創造出自己更想要的小說場景,效果不錯,現在以這張圖為例,來講一下我的製作步驟。
Thumbnail
最近有空時就在看如何使用AI作圖的方式製作出有魄力的動作與構圖,恰巧在Civitai這個AI作圖網站上找到了一些有趣的人物姿態,因此發想了一些構圖,依照這些構想做出來的圖效果還算可以接受,因此在這邊記錄一下過程與步驟。
Thumbnail
為了配合小說「烈火之心」試閱章節(四) -- Stable Diffusion繪製 的情節,我需要生成一副高動態的唯美圖樣,為此我使用了幾個技巧做到,就在這邊記錄下來以為後用。
Thumbnail
這篇來談談混合使用各種AI生圖方式,將AI當成素材庫,最後在繪圖軟體中整合排版的經驗談。 這張圖,四美圖,從生成第一張圖到最後拋光,是使用寫「寫作課」筆記時的零碎時間弄的,實際時數大概12小時。
Thumbnail
這個應用情境可能是,如果你有自己的產品想要以QRcode來行銷,而「文生圖」(txt2img)的結果又無法與你的實際想像契合時,那麼用你的實際產品做為基底的圖生圖(img2img)QRcode就是一個不錯的選項。
Thumbnail
這次的測試純粹是我個人好奇同一組繪圖prompt分別使用在真人風格與動漫風格的model下,會有什麼差別? 真人風格的model使用Basil mix,動漫風格的model使用anything-v4.5。Lora來源為C站的瑪奇瑪Lora。
Thumbnail
本教學使用Automatic 1111介面   AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。