AI繪圖從零開始:TensorArt (4) 用Control Net玩紙娃娃換衣

更新於 發佈於 閱讀時間約 4 分鐘
raw-image

▲如圖,這篇文會介紹如何Control Net,在同一張圖內,相同的臉孔和姿勢之下,更換服裝和髮型。

什麼是Control Net?

Control Net 是一種能「指定圖像結構」的技術,能讓 AI 根據輪廓、姿勢或深度等條件作畫。它可以在 Stable Diffusion中搭配各種「控制圖」,像是邊緣線圖或人體骨架圖。只要在繪圖界面中載入對應的 ControlNet 模型與控制圖,就能生成與該結構相符的畫面。目前網路上已有多種 ControlNet 模型可用,涵蓋邊緣控制、姿勢控制、深度控制等多種應用。透過 ControlNet,繪圖 AI 不再只憑文字提示畫圖,而能更精準地生成符合需求的作品。

步驟一:準備Control Net用的原版圖

首先我們會需要一個拿來換衣服的基底,這個基底的服裝跟髮型線條越少越好,所以最好的方法就是要出「光頭 (bald)」+「裸體 (nude)」的圖。

但本教學為普遍級,而且天冷不穿衣服會著涼。
作為替代方案,就用史庫水(日式學校泳裝)吧,沒有複雜的線條。
參考提示詞如下:

masterpiece, best quality, good quality, newest, highres, absurdres,
1girl, solo, looking at viewer, cowboy shot,
Bald,competition_school_swimsuit,white swimsuit,hand up,
white background,simple_background,score_9,score_8_up,score_7_up,source_anime,perfect hands
raw-image

如果從來沒有用TensorArt出圖的朋友建議先看一下這篇圖文教學再回來。

參數設定如下

基礎模型:pony
微調模型(Checkpoint):Prefect Pony XL
使用LoRA:無

採樣器:euler
調度器:karras

採樣次數:30
CFG Scale:5
VAE:Automatic(沒設定)

忘了用穩定手的LoRA,所以大概試了7~8張出了一張還行的,如附圖。

接著把這張圖片下載到電腦裡。

步驟二:設定ControlNet

在左邊的控制面板,按下「添加ControlNet」。

raw-image

可以選擇的ControlNet有很多種,每種的效果不太一樣。
我們今天要用的是「Scribble」,可以高度的控制整張圖的構圖和臉孔細節。

raw-image

ControlNet model選擇,「xinsir/controlnet-scribble-sdxl-1.0.safetensors」。
預處理器選擇「scribble_xdog」,接著把剛剛的原版圖上傳後按下「確定」。

raw-image

步驟三:實際出圖

Control Net也可以設定權重,建議調整三個參數。
權重:0.3~0.8(數值越高越會受到本來的泳裝輪廓影響,太低整張圖姿勢會跑掉)
Control Step (開始):0
Control Step (結束):0.3~0.8
這邊的參數每種服裝需要的調整其實不太一樣。
需要反覆多試幾次才能抓到一個比較好的平衡。
實測出一張日式學校體育服的參數設定如下:

raw-image

提示詞如下:

masterpiece, best quality, good quality, newest, highres, absurdres, 
1girl, solo, looking at viewer, cowboy shot,
black hair,long hair,hand up,((buruma)),white shirt,(short sleeves shirt),
white background,simple_background,score_9,score_8_up,score_7_up,source_anime,perfect hands

參數設定通通都跟出原版圖的時候一樣。
跟原圖比對一下

raw-image

因為Scribble是轉成黑白線稿去控制生圖,所以陰影會跟原圖不太一樣。
但不礙事。
多試試各種不同的提示詞和服裝LoRA的組合如下:
(如果想多了解LoRA的可以參考這篇。)

raw-image

▲(運動內衣、小禮服、賽車女郎、盔甲)

如果不是要上面這張圖一樣量產各種不同組合的髮型和服裝的話。
同樣的方法一樣可以用在各種人物圖的換裝。
例如這張獵人的瑪奇(原圖出處

raw-image

也是換得滿好的。

以上是本篇全部的內容。
如果喜歡這類主題的話,歡迎加入「幻詠 Gen Ai Studio」沙龍。

如果想要實際用TensorArt玩玩AI繪圖的人,歡迎使用我的推薦連結註冊
你跟我都可以得到一些免費的算力可以用在生成圖片上。

avatar-img
2會員
64內容數
探索ChatGPT等生成式AI 的各領域應用 1.分享 AI 工具的實測結果&提示詞技巧 2.分享 AI 創作內容
留言
avatar-img
留言分享你的想法!
幻詠 Gen Ai Studio 的其他內容
繪圖AI雖然厲害但有很高的機率手指會亂畫,各種畸形、斷指、多指、缺指讓人頭痛不已。這篇圖文教學會使用特殊的LoRA和局部重繪這兩種工具來穩定或修復手指問題。但原則上,以LoRA為主,局部重繪為輔,另外有一種工具叫ADetailer,也是可以修復手指問題,但實測失敗率頗高,而且需要複雜的參數調整跟有些
前一篇介紹了如何簡單的在TensorArt網站快速的生成動漫同人圖。 這篇要進一步的介紹使用LoRA調整畫風、服裝等等。 LoRA(Low-Rank Adaptation)是一種讓大模型「只需訓練少量參數」的技術。它在模型原始權重上加入兩個低階矩陣,以最小的改動達到微調效果。
Tensor.Art為繪圖模型雲端服務,能夠自訂採樣器、調度器和採樣次數等參數,自由度更高。本篇示範AnimagineXL模型,使用正反提示詞並調高採樣至25與60,生成遠坂凜的高精緻度動漫同人圖。
繪圖AI雖然厲害但有很高的機率手指會亂畫,各種畸形、斷指、多指、缺指讓人頭痛不已。這篇圖文教學會使用特殊的LoRA和局部重繪這兩種工具來穩定或修復手指問題。但原則上,以LoRA為主,局部重繪為輔,另外有一種工具叫ADetailer,也是可以修復手指問題,但實測失敗率頗高,而且需要複雜的參數調整跟有些
前一篇介紹了如何簡單的在TensorArt網站快速的生成動漫同人圖。 這篇要進一步的介紹使用LoRA調整畫風、服裝等等。 LoRA(Low-Rank Adaptation)是一種讓大模型「只需訓練少量參數」的技術。它在模型原始權重上加入兩個低階矩陣,以最小的改動達到微調效果。
Tensor.Art為繪圖模型雲端服務,能夠自訂採樣器、調度器和採樣次數等參數,自由度更高。本篇示範AnimagineXL模型,使用正反提示詞並調高採樣至25與60,生成遠坂凜的高精緻度動漫同人圖。
你可能也想看
Google News 追蹤
Thumbnail
本文章介紹了ControlCom影像合成模型的技術與架構,以及其與其他方法的比較。模型具有可控的圖像合成能力,並提供了豐富的細節信息。文章詳細解釋了模型的優勢、方法與架構,以及數據準備和結果與結論。
Thumbnail
最近有空時就在看如何使用AI作圖的方式製作出有魄力的動作與構圖,恰巧在Civitai這個AI作圖網站上找到了一些有趣的人物姿態,因此發想了一些構圖,依照這些構想做出來的圖效果還算可以接受,因此在這邊記錄一下過程與步驟。
Thumbnail
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
結合不同AI軟體,無論「文本敘述生圖」、「以圖繪圖」、「AI局部改圖」,多多嘗試,才能得到更好的結果,玩得開心,結果自然愉快。 先用Canva「Text to image」勾勒出人體崩壞圖,它畫面構圖仍是好的,再用Unidream「文本描述生圖」上傳參考圖並輸入文字指示,立馬正常許多
Thumbnail
可能包含敏感內容
這邊紀錄使用Bing images create 生成原圖並利用Tensor art
Thumbnail
Tensor Art 使用 Stable Diffusion 的各種模型,也能使用ControlNet 和 LoRA功能,根據使用者的輸入來文生圖、圖生圖,生成各種風格的高質量圖像,包括人像、動人的風景、創意的抽象畫等。
Thumbnail
本文章介紹了ControlCom影像合成模型的技術與架構,以及其與其他方法的比較。模型具有可控的圖像合成能力,並提供了豐富的細節信息。文章詳細解釋了模型的優勢、方法與架構,以及數據準備和結果與結論。
Thumbnail
最近有空時就在看如何使用AI作圖的方式製作出有魄力的動作與構圖,恰巧在Civitai這個AI作圖網站上找到了一些有趣的人物姿態,因此發想了一些構圖,依照這些構想做出來的圖效果還算可以接受,因此在這邊記錄一下過程與步驟。
Thumbnail
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
結合不同AI軟體,無論「文本敘述生圖」、「以圖繪圖」、「AI局部改圖」,多多嘗試,才能得到更好的結果,玩得開心,結果自然愉快。 先用Canva「Text to image」勾勒出人體崩壞圖,它畫面構圖仍是好的,再用Unidream「文本描述生圖」上傳參考圖並輸入文字指示,立馬正常許多
Thumbnail
可能包含敏感內容
這邊紀錄使用Bing images create 生成原圖並利用Tensor art
Thumbnail
Tensor Art 使用 Stable Diffusion 的各種模型,也能使用ControlNet 和 LoRA功能,根據使用者的輸入來文生圖、圖生圖,生成各種風格的高質量圖像,包括人像、動人的風景、創意的抽象畫等。