Stable Diffusion進階 -- 人偶生圖（一）
前言
本篇要介紹一個流程，讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度，並且經過一套流程之後，轉化成我們要的人物。
在使用Stable Diffusion生成圖片時，最常遇見的問題是人物的動作或位置不照我們的心意生成，尤其是一些高動態或不常見的姿勢與角度，或者手持物品，在某些模型上是永遠也跑不出來的。這時候我們可以借助ControlNet的openpose來生成，但是某些特別複雜或模型完全不熟悉的姿勢，使用openpose也只會產生肢體錯亂的結果，例如各種武術姿勢，或者兩人對戰肢體接觸，或者手持武器打鬥等。
而這次要介紹的方法，需要一個複雜的流程配合，但是它能將一個從人偶網站產生的人偶，利用ControlNet配合Loopback，將裸色人偶漸進轉換成實際的角色圖，對於指定特殊動作時，無論使用何種提示詞與ControlNet openpose都無效的情況，或許是最佳的解法：
這個步驟不只能轉換單人場景，多人場景也能轉換：
步驟
我以女角色跳舞的姿勢與構圖為起點，使用這樣的提示詞：
(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Cheefuyu with loose long hair and floating hair and dynamic hair, dancing, wearing dancing dress, short skirt, sweat, practicing, strong light, ballet shoes, dynamic pose, happy, fantasy, ballroom <lora:Cheefuyu:0.4>
當單純使用提示詞時，角色的動作高度不可控，而搭配上ControlNet openpose時，也常產生怪異的肢體搭配，或者多餘的肢體，例如這張：
因為Openpose只能表達平面的姿勢，但是沒辦法表達不同肢體的前後位置與空間分佈，加上高動態的提示詞本來就容易生出多餘肢體，因此這種方法非常考驗運氣。
下面，我們要使用能產生人偶圖與相對應的Openpose的網站，或者程式來生產素材，我主要使用免費的PoseMy.Art來製作：
在選定姿勢與切割框後，使用Export OpenPose with hands和Export Image，我們就得到了基本素材。
在Automatic1111內，將下載的圖片放入img2img內：
設定時Denoising strength調整到中權重的0.5，可以保證快速變形：
接著是ControlNet的設定，我們在此使用兩個ControlNet，兩個都要設定ControlNet is more important，讓ControlNet能強力控制整個生圖過程人物姿勢不走樣，第一個是使用由網站下載來的Openpose圖片，將preprocessor設定為none，這樣才能直接使用該姿勢圖：
另一個ControlNet可以使用depth（深度圖）或者normal（法線向量圖），我個人習慣使用depth。在這邊由於不想讓它太過牽制人偶的體型變形，因此Control Weight要設定成0.5的弱引導：
最後設定Loopback，我使用10回合，並設定Final denoising strength為0.75的高權重，讓它在循環輸入時變形幅度加大：
最後我們就可以開始跑圖了！
如果出現的圖片都沒有喜歡的，就可以考慮重跑幾次，直到選中喜歡的圖。
直到目前為止，我得到的半成品圖樣長這樣：
結論
這張半成品的手部手指是錯亂的，臉是模糊崩解的，背景也是黑暗的，要處理這些問題，我們要在下一篇繼續完善這件半成品，成為可以使用的草稿。
即將進入廣告，捲動後可繼續閱讀
為什麼會看到廣告
留言0
查看全部
本篇參與的主題活動
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
你可能也想看
Google News 追蹤
謝謝攝影師的照片
一開始以為社交舞應該不會太難，但實際體驗發現，自己跳舞跟別人合作跳舞，真的很不一樣。
我覺得自己跳比較簡單哈哈，舞步不難但我眼花撩亂，瘋狂轉錯邊有趣的體驗課！
生活中不斷嘗新學習，不設限領域方向，會發現每個人都有各自驚奇的興趣和擅長的拿手事物，希望接下來的研究所生活，也能
即興表演強調「夥伴」的重要性，參與者能夠迅速建立連結，共同創建一個「能量場」，感受到集體的力量。這種連結不僅限於舞台上，還能延伸到日常生活中，讓參與者在不同身份中相遇，並成為很好的朋友。激發演員的創造力和想像力，還能促進團隊合作，讓故事自然流暢地發展。
一個人的個性可以有很多元化的展現。筆跡、用字、語調、穿著……當然跳舞也是其中一種。從一個人的舞蹈可以了解很多事情，雖然不敢說自己精準到可以算命，但從一個人的舞姿可以大概抓出這個人基調。好想知道知城跳起舞來的感覺是怎麼樣的？
「嗯？這麼突然嗎？為什麼？」因為對你有好奇。
「跳完我會跟你說，嘿
佛拉民歌舞蹈女郎
迪斯可舞蹈女郎
肚皮舞蹈女郎，很難生成。老是被拒絕。
阿拉伯舞女郎
南美森巴女郎，被拒絕許多次。
拉丁舞女郎，喜歡這張，很有韻味。
中國舞女郎，典型的。
寶萊烏女郎
街舞女郎
當我靠近、盯著伴時，我聯想到看過的舞蹈片段：舞者模仿動物、模仿海流樹木、模仿大自然、模仿情緒、演出情緒、表達情緒。我覺得我像雙人舞中的一半，透過身體傳達情緒給玩伴，讓她接續著表演，如此輪替、交織，形成一個整體。
老實說，我看許多 IG(真人的啦!)妹妹，自拍的超讚的~ 那麼~ AI 也可以產生那種感覺嗎? 叫 AI 產生自拍感的照片~試了一下，還行，但我著個懶人，想要快速產生想要的姿勢...還是用 OpenPose 吧!
今天請了精靈小姊姊來當模特兒! 沒玩過手機的她，玩得可樂了。
可能包含敏感內容
今天，繼續用 Openpose 玩一些姿勢，還蠻有趣的，繼續進行分享~ Openpose 的控制線圖，有需要的朋友，自行運用喔。點選連結，可以直接在 Tensor Art 上看到所使用的模型與提示詞...
本文來分享一些 Openpose 的控制線圖，有需要的朋友，自行運用喔。點選連結，可以直接在 Tensor Art 上看到所使用的模型與提示詞。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
可能包含敏感內容
一個雙手撫弄頭髮的女生... Tensor.Art 連結在此，登入後可以使用 做同款(Remix) 功能產生類似圖片喔(AI 生圖)。
好的，廢話不多說，直接提供 ControlNet 的 Openpose 圖片~
謝謝攝影師的照片
一開始以為社交舞應該不會太難，但實際體驗發現，自己跳舞跟別人合作跳舞，真的很不一樣。
我覺得自己跳比較簡單哈哈，舞步不難但我眼花撩亂，瘋狂轉錯邊有趣的體驗課！
生活中不斷嘗新學習，不設限領域方向，會發現每個人都有各自驚奇的興趣和擅長的拿手事物，希望接下來的研究所生活，也能
即興表演強調「夥伴」的重要性，參與者能夠迅速建立連結，共同創建一個「能量場」，感受到集體的力量。這種連結不僅限於舞台上，還能延伸到日常生活中，讓參與者在不同身份中相遇，並成為很好的朋友。激發演員的創造力和想像力，還能促進團隊合作，讓故事自然流暢地發展。
一個人的個性可以有很多元化的展現。筆跡、用字、語調、穿著……當然跳舞也是其中一種。從一個人的舞蹈可以了解很多事情，雖然不敢說自己精準到可以算命，但從一個人的舞姿可以大概抓出這個人基調。好想知道知城跳起舞來的感覺是怎麼樣的？
「嗯？這麼突然嗎？為什麼？」因為對你有好奇。
「跳完我會跟你說，嘿
佛拉民歌舞蹈女郎
迪斯可舞蹈女郎
肚皮舞蹈女郎，很難生成。老是被拒絕。
阿拉伯舞女郎
南美森巴女郎，被拒絕許多次。
拉丁舞女郎，喜歡這張，很有韻味。
中國舞女郎，典型的。
寶萊烏女郎
街舞女郎
當我靠近、盯著伴時，我聯想到看過的舞蹈片段：舞者模仿動物、模仿海流樹木、模仿大自然、模仿情緒、演出情緒、表達情緒。我覺得我像雙人舞中的一半，透過身體傳達情緒給玩伴，讓她接續著表演，如此輪替、交織，形成一個整體。
老實說，我看許多 IG(真人的啦!)妹妹，自拍的超讚的~ 那麼~ AI 也可以產生那種感覺嗎? 叫 AI 產生自拍感的照片~試了一下，還行，但我著個懶人，想要快速產生想要的姿勢...還是用 OpenPose 吧!
今天請了精靈小姊姊來當模特兒! 沒玩過手機的她，玩得可樂了。
可能包含敏感內容
今天，繼續用 Openpose 玩一些姿勢，還蠻有趣的，繼續進行分享~ Openpose 的控制線圖，有需要的朋友，自行運用喔。點選連結，可以直接在 Tensor Art 上看到所使用的模型與提示詞...
本文來分享一些 Openpose 的控制線圖，有需要的朋友，自行運用喔。點選連結，可以直接在 Tensor Art 上看到所使用的模型與提示詞。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
可能包含敏感內容
一個雙手撫弄頭髮的女生... Tensor.Art 連結在此，登入後可以使用 做同款(Remix) 功能產生類似圖片喔(AI 生圖)。
好的，廢話不多說，直接提供 ControlNet 的 Openpose 圖片~