Stable Diffusion進階 -- 人偶生圖（二）
前言
在上一篇文章中，我使用人偶圖產出了一個姿勢正確，但是手指錯亂且臉型崩潰的半成品圖，這一篇我要繼續修正這些問題，得到一個草稿圖，再使用這個草稿製作大張的完成圖。
步驟
手修正
對於需要修正的手指，可以用之前在
Stable Diffusion進階 -- Loopback手部修復
提到的手法來修復，但是在人偶生成法裡，有一個訣竅可以更簡便地做出修補，就是利用最初幾回合生成的圖片來修復。
由於這一系列的圖片都是由同一組姿勢控制設定所生成，照理來說所有的手部姿勢、光影與位置應該都是類似的，所以我們可以打開檔案夾，找出一個手部還沒崩壞的圖片，在繪圖軟體中開啟特意挑選的手部完好圖，以及之前產生的半成品圖，將完好的手部擷取下來，接肢到半成品圖上，再使用塗抹或其他工具將明顯有色差的部分塗抹銜接起來，就能得到一個肢體形狀正確但色澤不一樣的肢體修復圖：
此時如果有必要，可以使用下列的方法修正色差。但如果只是要提取邊線稿，這樣的修復就足夠了，因為邊線草稿不在乎色澤。
首先將圖輸入img2img，這樣才能讓整個人物的顏色同時均勻化，使用Denoising strength為0.3的低度權重，確保跑圖時不會讓手又變形了：
我曾經試著使用inpaint只針對手部來重繪，但效果非常不穩定，常常手臂的顏色與身體相差太多，所以用img2img來讓全身膚色一齊改變反而能得到較穩定的結果。
接著是ControlNet的設定。第一個ControlNet依然使用openpose的設定，與上一回人偶生圖時一樣不變，但是第二個ControlNet必須從depth或normal改換成canny，且使用已經修正好的半成品圖當作來源。而Control weight強化到1，這樣才能保證生圖時手部形狀不變，而只變膚色：
接著設定Loopback的連續輸入，在這邊Final denoising strength可以試試0.3到0.5的強度，讓全身變形的幅度限制在顏色與花紋等細節，而身體姿勢由於低權重與ControlNet鉗制的關係，可以維持相當的穩定度：
這樣開始跑圖，通常在前幾張就能得到很不錯的成果了：
草稿生圖
在修正好所有明顯問題之後，這就是一張可以拿來繼續生圖的草稿了。有好幾種方法可以繼續生成完成圖：
- 如果這是某個大構圖的其中一個角色，就可以將該圖簡單去背之後組裝到其他圖上。
- 如果這張圖本身就是完成圖，接下來可以去背將黑色的部分清除，再填上底色，然後使用一樣的ControlNet設定搭配高強度的Denosing strength跑圖，就能產生真正的背景畫面。
- 如果這張圖我只需要線稿的部分，色澤不是我顧慮的地方，就可以將這張草稿圖當作是txt2img內ControlNet設定的canny以及depth的來源來產生大圖。
下面這張成果圖就是使用該草稿圖當作ControlNet的canny來源，跑txt2img輸出的成品：
臉修正
另一個問題是人物的臉。由於從人偶產生人物圖片時，頭型會受到原始人偶圖的頭型限制，所以臉型都很有可能怪怪的。這時候最好的做法就是將圖放大之後解除ControlNet的設定，只留下Openpose保留五官的位置不變，然後使用inpaint針對頭部重繪，這樣就可以得到不錯的頭臉與五官。
結論
人偶生圖法的步驟顯然比其他方法複雜、容易出錯，但它也是我目前固定角色姿勢最穩定，最能得到預期結果的方法，在一些有嚴格動作限制的概念插畫與漫畫電影分鏡稿裡面，當一般提示詞與簡單的ControlNet都無法滿足時，這可能是最能引導AI畫出你想要的構圖與動態的方法。
祝大家AI算圖愉快！
即將進入廣告，捲動後可繼續閱讀
為什麼會看到廣告
留言0
查看全部
本篇參與的主題策展
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃，這是一篇進階教學文章，需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
2023/Apr/8 補充更新 - 想訓練AI模型的人，建議正常安裝Python和Git，理由如下：
注意! 以下為不專業解釋~若有錯誤請指教。
使用 ai 產出圖片需要一個附檔名為 .ckpt 的模型訓練檔案~ai 會使用這個訓練檔案內的資訊，產生出我們想畫的圖片出來。
試著玩一下 stable diffusion，一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃，這是一篇進階教學文章，需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Vlad Diffusion（下略Vlad）和 Automatic1111（下略A1111）相較：
優點
1. 介面優化
2. 效能優化
-針對 Torch 2.0 優化
-使用 SDP（Scaled Dot Product）優化運算，無須 xFormers 也可顯著提升效能、降低
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
2023/Apr/8 補充更新 - 想訓練AI模型的人，建議正常安裝Python和Git，理由如下：
注意! 以下為不專業解釋~若有錯誤請指教。
使用 ai 產出圖片需要一個附檔名為 .ckpt 的模型訓練檔案~ai 會使用這個訓練檔案內的資訊，產生出我們想畫的圖片出來。
試著玩一下 stable diffusion，一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!