Stable Diffusion進階 -- 人偶生圖（一）
閱讀時間約 4 分鐘
前言
本篇要介紹一個流程，讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度，並且經過一套流程之後，轉化成我們要的人物。
在使用Stable Diffusion生成圖片時，最常遇見的問題是人物的動作或位置不照我們的心意生成，尤其是一些高動態或不常見的姿勢與角度，或者手持物品，在某些模型上是永遠也跑不出來的。這時候我們可以借助ControlNet的openpose來生成，但是某些特別複雜或模型完全不熟悉的姿勢，使用openpose也只會產生肢體錯亂的結果，例如各種武術姿勢，或者兩人對戰肢體接觸，或者手持武器打鬥等。
而這次要介紹的方法，需要一個複雜的流程配合，但是它能將一個從人偶網站產生的人偶，利用ControlNet配合Loopback，將裸色人偶漸進轉換成實際的角色圖，對於指定特殊動作時，無論使用何種提示詞與ControlNet openpose都無效的情況，或許是最佳的解法：
這個步驟不只能轉換單人場景，多人場景也能轉換：
步驟
我以女角色跳舞的姿勢與構圖為起點，使用這樣的提示詞：
(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Cheefuyu with loose long hair and floating hair and dynamic hair, dancing, wearing dancing dress, short skirt, sweat, practicing, strong light, ballet shoes, dynamic pose, happy, fantasy, ballroom <lora:Cheefuyu:0.4>
當單純使用提示詞時，角色的動作高度不可控，而搭配上ControlNet openpose時，也常產生怪異的肢體搭配，或者多餘的肢體，例如這張：
因為Openpose只能表達平面的姿勢，但是沒辦法表達不同肢體的前後位置與空間分佈，加上高動態的提示詞本來就容易生出多餘肢體，因此這種方法非常考驗運氣。
下面，我們要使用能產生人偶圖與相對應的Openpose的網站，或者程式來生產素材，我主要使用免費的PoseMy.Art來製作：
在選定姿勢與切割框後，使用Export OpenPose with hands和Export Image，我們就得到了基本素材。
在Automatic1111內，將下載的圖片放入img2img內：
設定時Denoising strength調整到中權重的0.5，可以保證快速變形：
接著是ControlNet的設定，我們在此使用兩個ControlNet，兩個都要設定ControlNet is more important，讓ControlNet能強力控制整個生圖過程人物姿勢不走樣，第一個是使用由網站下載來的Openpose圖片，將preprocessor設定為none，這樣才能直接使用該姿勢圖：
另一個ControlNet可以使用depth（深度圖）或者normal（法線向量圖），我個人習慣使用depth。在這邊由於不想讓它太過牽制人偶的體型變形，因此Control Weight要設定成0.5的弱引導：
最後設定Loopback，我使用10回合，並設定Final denoising strength為0.75的高權重，讓它在循環輸入時變形幅度加大：
最後我們就可以開始跑圖了！
如果出現的圖片都沒有喜歡的，就可以考慮重跑幾次，直到選中喜歡的圖。
直到目前為止，我得到的半成品圖樣長這樣：
結論
這張半成品的手部手指是錯亂的，臉是模糊崩解的，背景也是黑暗的，要處理這些問題，我們要在下一篇繼續完善這件半成品，成為可以使用的草稿。
為什麼會看到廣告
留言0
查看全部
本篇參與的主題活動
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃，這是一篇進階教學文章，需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
2023/Apr/8 補充更新 - 想訓練AI模型的人，建議正常安裝Python和Git，理由如下：
注意! 以下為不專業解釋~若有錯誤請指教。
使用 ai 產出圖片需要一個附檔名為 .ckpt 的模型訓練檔案~ai 會使用這個訓練檔案內的資訊，產生出我們想畫的圖片出來。
試著玩一下 stable diffusion，一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃，這是一篇進階教學文章，需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
2023/Apr/8 補充更新 - 想訓練AI模型的人，建議正常安裝Python和Git，理由如下：
注意! 以下為不專業解釋~若有錯誤請指教。
使用 ai 產出圖片需要一個附檔名為 .ckpt 的模型訓練檔案~ai 會使用這個訓練檔案內的資訊，產生出我們想畫的圖片出來。
試著玩一下 stable diffusion，一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!