Stable Diffusion進階 -- 紙娃娃穿衣法
閱讀時間約 7 分鐘
前言
這篇要來探討一個建立角色穿著的手法，除了之前討論過的
Stable Diffusion進階 -- 穿衣換衣術
以及
Stable Diffusion進階 -- 拼貼換衣術
之外，還有一種更複雜，但是我覺得頗為有趣的方法，就是搭配眾多ControlNet設定以及Photo bashing手法，將裸體紙娃娃穿上衣服的紙娃娃穿衣法。
紙娃娃穿搭法是一個很古老的遊戲設計，最早從地下城主（1987年出品）開始，角色扮演遊戲上很常見的角色裝備瀏覽機制，而在AI算圖的時代，這個手法可以透過拼貼衣服在人物上，加上三個ControlNet的操控，以及循環輸入（Loopback）做到。
手法
首先要準備一個起始圖，它可以是裸體或半裸的人物角色圖，或者穿著衣物的角色圖，只要確定該圖能讓ControlNet掃描出姿勢圖（Openpose）與法線圖（Normal），且最終姿勢是你要的即可。
例如我使用這個提示詞組來生成半裸的角色圖：
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.3), extreme detailed, Cheefuyu, fantasy, naked, nude, smile, underwear, cowboy shot, underpants, bra <lora:Cheefuyu:0.4>
（什麼衣服的提示詞都不加就會變成裸體，年紀未滿十八歲請勿嘗試）
接著從網路上找尋想要貼上的素材圖，例如藍色和服：
打開任何支援圖層的影像編輯軟體，例如GIMP，然後將衣服貼上角色，必要時用剪裁以及位移或複製貼上等功能，讓衣服能貼合在角色上，形狀爛掉也可以，AI很聰明的，它可以處理。然後將圖送進img2img或者Inpaint之中。因為塗塗抹抹很麻煩，本文章範例都是用img2img，但如果不想動到背景與人臉表情，建議使用Inpaint。
要使用的提示詞必須包括我們想要生成的衣服款式，可以不用指定顏色，因為ControlNet會幫我們顧到這一塊，但是如果衣服款式指定錯誤，就會生成完全不對的成果：
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.3), extreme detailed, Cheefuyu, fantasy, smile, kimono <lora:Cheefuyu25:0.4>
在這個範例，指定的衣物是kimono（和服）。
接著設定img2img的屬性，最重要的是維持Denoising strength在0.45，使得服裝可以貼上人物身上，但同時又不會變成其他類型的衣服，如果使用的是Inpaint，可以將Mast Area改成Only Masked，這樣生成的衣服會更細緻一些些。
接著是ControlNet，在這裡會用到三個ControlNet的設定，所以記得根據
Stable Diffusion基礎 -- 安裝ControlNet
提到的方法開啟至少四個ControlNet。
第一個ControlNet要輸入原始的人物半裸角色圖，並選擇Openpose，生成姿勢骨架，確保在跑圖時人物姿勢不會走樣：
第二個ControlNet一樣輸入原始的人物半裸角色圖，並選擇Normal（法線貼圖），且Contorl Weight（控制權重）要調低到0.2的程度，這樣可以讓AI知道該角色的身材曲線概況，且不會過分控制使得整件衣服都貼到了角色身上，變成超級緊身衣。如果需要更寬鬆更不貼合身材的效果，可以繼續調低Control Weight，甚至可以不使用。但根據我的測試經驗，沒有這個設定的話角色身材很常走樣。
第三個ControlNet設定要使用非常少提到的T2IA配上color grid（色彩格）。它需要非ControlNet作者研發的t2ia color grid模型，請依照前述ControlNet設定文自行下載安裝。
在第三個ControlNet內，輸入角色貼上衣物的圖片。使用這個模型時，要將Preprocessor Resolution（前處理器解析度）開到最大的2048，才能精細地指定衣物的顏色。第三組ControlNet負責的是衣物生成時該有的顏色與圖樣的參考。
最後是Loopback的設定。經過許多測試，Loops（重複次數）設定在10，Final denoising strength（最終去噪力度）最好設定在0.55，可以讓許多生成的圖片符合我們的需求，但同時又有不同的貼合度與款式，這樣就比較容易選出想要的成果。
接下來就是跑圖，並且在其中選擇想要的成果！
從算圖成果可以看到，前一兩張生成的衣物雖然顏色與圖樣非常接近原衣物，但是身材的貼合度上並不好，直到第三張開始，ControlNet normal發揮夠多的影響力，才能讓和服完美貼合角色的身材。但此時衣服的顏色與圖樣已經開始飄移。當算圖回數越多，衣服就會越貼緊角色的身材，直到變成貼身緊身衣為止。以我為例，我覺得第四張是達到衣物貼合、顏色與圖樣最完美的成果。
另一個例子是將人物穿上兩件式的牛仔襯衫與牛仔短褲，處理步驟一模一樣：
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.3), extreme detailed, Cheefuyu, long hair, fantasy, slight smile, denim jacket, denim short jeans, denim shirt <lora:Cheefuyu25:0.4>
缺點
使用該手法，缺點很明顯，就是設定非常複雜，且出來的衣物圖樣並不能百分之百完全對應輸入的衣物，所以是不能拿來當成商用試穿圖的。
但是在遊戲設計上，以及插畫漫畫使用上，就能替設計師省去非常多中期拼貼步驟，而可以專注在前期衣物設計，以及後期將衣物不正確的圖樣修正的步驟上。
祝大家AI算圖愉快！
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃，這是一篇進階教學文章，需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
2023/Apr/8 補充更新 - 想訓練AI模型的人，建議正常安裝Python和Git，理由如下：
注意! 以下為不專業解釋~若有錯誤請指教。
使用 ai 產出圖片需要一個附檔名為 .ckpt 的模型訓練檔案~ai 會使用這個訓練檔案內的資訊，產生出我們想畫的圖片出來。
試著玩一下 stable diffusion，一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃，這是一篇進階教學文章，需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
2023/Apr/8 補充更新 - 想訓練AI模型的人，建議正常安裝Python和Git，理由如下：
注意! 以下為不專業解釋~若有錯誤請指教。
使用 ai 產出圖片需要一個附檔名為 .ckpt 的模型訓練檔案~ai 會使用這個訓練檔案內的資訊，產生出我們想畫的圖片出來。
試著玩一下 stable diffusion，一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!