Stable Diffusion進階 -- 人偶生圖（一）
閱讀時間約 4 分鐘
前言
本篇要介紹一個流程，讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度，並且經過一套流程之後，轉化成我們要的人物。
在使用Stable Diffusion生成圖片時，最常遇見的問題是人物的動作或位置不照我們的心意生成，尤其是一些高動態或不常見的姿勢與角度，或者手持物品，在某些模型上是永遠也跑不出來的。這時候我們可以借助ControlNet的openpose來生成，但是某些特別複雜或模型完全不熟悉的姿勢，使用openpose也只會產生肢體錯亂的結果，例如各種武術姿勢，或者兩人對戰肢體接觸，或者手持武器打鬥等。
而這次要介紹的方法，需要一個複雜的流程配合，但是它能將一個從人偶網站產生的人偶，利用ControlNet配合Loopback，將裸色人偶漸進轉換成實際的角色圖，對於指定特殊動作時，無論使用何種提示詞與ControlNet openpose都無效的情況，或許是最佳的解法：
這個步驟不只能轉換單人場景，多人場景也能轉換：
步驟
我以女角色跳舞的姿勢與構圖為起點，使用這樣的提示詞：
(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Cheefuyu with loose long hair and floating hair and dynamic hair, dancing, wearing dancing dress, short skirt, sweat, practicing, strong light, ballet shoes, dynamic pose, happy, fantasy, ballroom <lora:Cheefuyu:0.4>
當單純使用提示詞時，角色的動作高度不可控，而搭配上ControlNet openpose時，也常產生怪異的肢體搭配，或者多餘的肢體，例如這張：
因為Openpose只能表達平面的姿勢，但是沒辦法表達不同肢體的前後位置與空間分佈，加上高動態的提示詞本來就容易生出多餘肢體，因此這種方法非常考驗運氣。
下面，我們要使用能產生人偶圖與相對應的Openpose的網站，或者程式來生產素材，我主要使用免費的PoseMy.Art來製作：
在選定姿勢與切割框後，使用Export OpenPose with hands和Export Image，我們就得到了基本素材。
在Automatic1111內，將下載的圖片放入img2img內：
設定時Denoising strength調整到中權重的0.5，可以保證快速變形：
接著是ControlNet的設定，我們在此使用兩個ControlNet，兩個都要設定ControlNet is more important，讓ControlNet能強力控制整個生圖過程人物姿勢不走樣，第一個是使用由網站下載來的Openpose圖片，將preprocessor設定為none，這樣才能直接使用該姿勢圖：
另一個ControlNet可以使用depth（深度圖）或者normal（法線向量圖），我個人習慣使用depth。在這邊由於不想讓它太過牽制人偶的體型變形，因此Control Weight要設定成0.5的弱引導：
最後設定Loopback，我使用10回合，並設定Final denoising strength為0.75的高權重，讓它在循環輸入時變形幅度加大：
最後我們就可以開始跑圖了！
如果出現的圖片都沒有喜歡的，就可以考慮重跑幾次，直到選中喜歡的圖。
直到目前為止，我得到的半成品圖樣長這樣：
結論
這張半成品的手部手指是錯亂的，臉是模糊崩解的，背景也是黑暗的，要處理這些問題，我們要在下一篇繼續完善這件半成品，成為可以使用的草稿。
為什麼會看到廣告
留言0
查看全部
本篇參與的主題策展
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃，這是一篇進階教學文章，需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
2023/Apr/8 補充更新 - 想訓練AI模型的人，建議正常安裝Python和Git，理由如下：
注意! 以下為不專業解釋~若有錯誤請指教。
使用 ai 產出圖片需要一個附檔名為 .ckpt 的模型訓練檔案~ai 會使用這個訓練檔案內的資訊，產生出我們想畫的圖片出來。
試著玩一下 stable diffusion，一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃，這是一篇進階教學文章，需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
2023/Apr/8 補充更新 - 想訓練AI模型的人，建議正常安裝Python和Git，理由如下：
注意! 以下為不專業解釋~若有錯誤請指教。
使用 ai 產出圖片需要一個附檔名為 .ckpt 的模型訓練檔案~ai 會使用這個訓練檔案內的資訊，產生出我們想畫的圖片出來。
試著玩一下 stable diffusion，一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!