Stable Diffusion練習，歡迎來到我的家鄉
更新於 2023/05/29閱讀時間約 7 分鐘
這次來用一些好用的手法，達到在Stable Diffusion裡面畫出誇張姿勢的方法。
Stable Diffusion的真人模型與擬真模型可以做到幾可亂真的效果，只要不觀察手指腳趾的話。但是在這些模型裡面，人物的動態是不活潑的，由於訓練用的素材圖大部分都是靜態姿勢與場景，很難用提示詞在這些模型裡面做出什麼很精彩的動作。
為了生成有趣或誇張的擬真圖片，有好幾種方法可以做到，這次我要用的是其中一種我覺得稍嫌麻煩，但是手指姿態不容易跑掉的方法。那就是借圖生圖。
這次的主題是「歡迎！」
使用的角色是自製角色Hana的LoRA：
首先，用Google Image搜尋自己腦海中想像的人物姿勢，或者乾脆用紙筆或手繪版製作一張草圖。
我在這邊直接使用了初音未來的圖片，因為初音的動作非常活潑，很容易抓到有趣的構圖：
這次選擇這張圖的原因是，人物的表情是我要的喜悅的表情，手掌伸向攝影者且以漫畫手法放大，帶來動感，這是擬真以及真人模型很難做到的。至少我試過跑一百張擬真（俗稱2.5D）圖片，沒有一張能用。
好的，接下來就是要改到連他媽媽都不認識的地步。
首先，在txt2img裡面，選擇動漫類模型AnythingV5，將圖放到ControlNet底下，開啟Canny，設定權重為0.6，並且在正面提示詞裡輸入跟伸手有關的提示詞，使用0.5作為LoRA的權重，然後一口氣產生十幾張圖：
(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, landscape ,
digital painting of Hana with [white:red:0.6] kimono, gray cloak, happy, laughing, dynamic pose, dynamic angle, floating hair, outstretched hand, outstretched arm, reaching out to viewer, half body portrait,
real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, beautiful eyes, detailed eyes, perfect body, perfect face
<lora:Hana:0.5>
在產生出來的圖片中選擇最接近自己想像的圖，繼續第二步優化：
由於有Canny的牽制，所以大部分的圖都不會長得像我們要的角色，但也同時很好地保存了手指的形狀與大小，我們可以利用這點繼續優化。
在第二步，將圖傳入img2img，使用擬真模組，我使用的是RealDosMix。一樣在ControlNet裡面使用Canny，權重依舊保持0.6，提示詞保持不變，LoRA權重依舊保持在0.5，然後用denoising strength在0.2跑一兩次，將動漫感的手指轉換成有真實感的手指，同時將人物的臉與衣服慢慢轉成擬真風格。
第三步，這次我們要用inpaint功能，將手的部分圈選起來，然後在選項中選擇inpaint not masked，denoising strength設定0.75，這樣重繪時，就會保留手部完全維持原樣，其他部分則依照Canny的線稿來大改：
一次跑個十幾張，選出自己最喜歡的一張。在我的例子中，我將我覺得最好的一張用修圖軟體裁切掉最左邊多餘的畸形右手與太長的頭髮，然後再用inpaint加上擴大的尺寸，以及Resize and fill的選項，在圖的左右填出空白，然後繼續inpaint這些空白的左右邊界，這樣就能慢慢把背景的山與海填出來。
當整張圖大致完成後，再輸出到img2img，用Denoising strength在0.2微調整張圖，讓陰影與整體背景更一致。最後再將圖放到Extra中放大兩倍，輸出成圖。
這個方法的步驟可以歸結為：
- 從搜尋引擎找圖，或者手繪草稿。
- 使用動漫類模型，配合ControlNet的低權重Canny，中等權重的角色LoRA，跑圖多張選一。
- 使用擬真或真人型模型，在img2img中使用ControlNet的低權重Canny，中等權重的角色LoRA，低Denoising Strength，將人物的卡通特徵抹除。
- 使用inpaint遮住手腳等不想讓AI亂改的地方，然後命令AI大改沒有遮住的部分，讓人物進一步更像真人。
- 繼續使用img2img以及inpaint修改不滿意的地方。直到完成後再用AI放大功能輸出大圖。
這種借圖生圖的方法，相比於動漫生圖法，更容易直接從自己心裡想要的姿勢與動態開始。相比於OpenPose生圖法，更容易操縱難以駕馭的手指與手心手背問題。適合在腦海已經有具體草圖時使用。
如果你具有基本的寫生素描能力，直接素描出大概圖，可能比從Google Images找圖更快更有掌握。
祝大家AI算圖愉快！
進階技巧目錄：
- Stable Diffusion進階 -- 製作角色設定圖
- Stable Diffusion進階 -- 轉換線稿/漫畫稿
- Stable Diffusion進階 -- 常用網站
- Stable Diffusion進階 -- CLIP Skip 2
- Stable Diffusion進階 -- 臉崩修復
- Stable Diffusion進階 -- X/Y/Z plot
- Stable Diffusion進階 -- 提示詞矩陣
- Stable Diffusion進階 -- 練習，歡迎來到我的家鄉
- Stable Diffusion進階 -- 穿衣換衣術
- Stable Diffusion進階 -- 醒來！表情變換
- Stable Diffusion進階 -- 雷光變幻！
- Stable Diffusion進階 -- 糊臉清晰化
- Stable Diffusion進階 -- 練習，這是利息
- Stable Diffusion進階 -- 人工與工人智慧去背
- Stable Diffusion進階 -- 手部修復
- Stable Diffusion進階 -- ControlNet新功能Reference
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
本文介紹ReActor這套AI換臉軟體，它是stable diffusion外掛之一，可以視為deepFake與Lora的簡易替代品，易用好上手。
內容從基礎安裝開始講解，亦包含實際操作過程與圖片範例。
為免侵犯敏感人物的肖象權，內文以川普換與拜登做為例子。
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
在 Stable Diffusion 中有時人物的大小遠近好像很隨機，除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Getty Images推出AI圖像生成工具,與Nvidia合作保障版權
圖片供應商Getty Images日前宣布,將與晶片大廠Nvidia合作,推出名為「Generative AI by Getty Images」的AI圖像生成工具。該工具運用了Getty Images豐富的授權圖片資料庫
中二病少女這次去了外星球，化身複製人大軍，身穿帝國的暴風兵裝備，這次一樣用realistic fantasy模型，再搭配其他的(你知道的專作瑟瑟圖的那種模型)試試看效果，去呈現荒涼外星球的戰鬥。但星際大戰的光劍始終都很怪很可笑，等下可以看。 這次表情沒下提示詞連笑都不笑，同伴倒下也呈現呆滯狀，表現的
ControlNet發布了1.1新版本，新增了許多不同的model，本文介紹運算大圖時非常好用的Tile Resample model。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
可能是這個問題太過基本，所以網路上幾乎沒有人在提問或回答，但我一開始嘗試Stable Diffusion時，常會遇到一個令我困擾的問題----紫色斑塊。
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
先說結論：
演算Img2Img時，Sampling Methods（取樣方法）中Karras類型比較忠於原圖，非Karras類型比較放飛自我。
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
本文介紹ReActor這套AI換臉軟體，它是stable diffusion外掛之一，可以視為deepFake與Lora的簡易替代品，易用好上手。
內容從基礎安裝開始講解，亦包含實際操作過程與圖片範例。
為免侵犯敏感人物的肖象權，內文以川普換與拜登做為例子。
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
在 Stable Diffusion 中有時人物的大小遠近好像很隨機，除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Getty Images推出AI圖像生成工具,與Nvidia合作保障版權
圖片供應商Getty Images日前宣布,將與晶片大廠Nvidia合作,推出名為「Generative AI by Getty Images」的AI圖像生成工具。該工具運用了Getty Images豐富的授權圖片資料庫
中二病少女這次去了外星球，化身複製人大軍，身穿帝國的暴風兵裝備，這次一樣用realistic fantasy模型，再搭配其他的(你知道的專作瑟瑟圖的那種模型)試試看效果，去呈現荒涼外星球的戰鬥。但星際大戰的光劍始終都很怪很可笑，等下可以看。 這次表情沒下提示詞連笑都不笑，同伴倒下也呈現呆滯狀，表現的
ControlNet發布了1.1新版本，新增了許多不同的model，本文介紹運算大圖時非常好用的Tile Resample model。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
可能是這個問題太過基本，所以網路上幾乎沒有人在提問或回答，但我一開始嘗試Stable Diffusion時，常會遇到一個令我困擾的問題----紫色斑塊。
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
先說結論：
演算Img2Img時，Sampling Methods（取樣方法）中Karras類型比較忠於原圖，非Karras類型比較放飛自我。