方格精選

Stable Diffusion進階 -- 糊圖精細化(二)

閱讀時間約 4 分鐘
精細化之後的成果

精細化之後的成果

前言

這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。

這個方法有個問題,就是精細化之後的人臉,並不一定吻合原始圖片的人臉,所以想要百分之百完全還原一樣的人臉與衣著,這個方法做不到。但是如果是為了製作人物角色的概念插畫,還是可以勉強一用。

正文

最近正在靠著一張大圖產生不同的人物圖樣。擁有較大面積的人物比較好處理,但是離鏡頭太遠,又穿著容易跟背景或人物頭髮混淆的衣物的角色,就會特別難處理,例如這個角色:

原始參考圖

原始參考圖

由於人物距離鏡頭太遠,加上頭上有非常難以形容的黑色頭飾,混合了黑色長袍與黑色頭髮,在使用ControlNet的reference_only來製作新圖時,出來的效果都非常慘烈,除了人物完全不像之外,畫質也非常低落,出圖跟近視沒啥差別。

在Stable Diffusion裡面,由於reference_only是將參考圖轉化進Latent Space中當作參考源,因此圖會被變成八倍小的高維度抽象像素,如果圖本身的清晰度不夠,也就是說像素與隔壁像素之間的變化不夠大,就無法抽取出太有意義的高維度像素,那這樣出來的成品就會非常模糊。

第一階段

因此,為了提高出圖品質,最好的方法就是將原始參考圖精細化,從源頭提升,才能改善這一症狀。但因為在精細化的過程中,會改造與增加細節在原始圖上,所以會慢慢偏離原始圖的樣式。這點要不斷改變提示詞來確保我們要的細節不會跑掉太多。

以我的例子,這張圖我最後使用這樣的提示詞來形容人物:

best quality, masterpiece, fantasy,
a 40 years old female with black hair, middle age,
wearing Black Hair Bowknot headband and black veil on her head, long sideburns, (black eyes:1.2), (flat chest:0.9), witch,
wearing black magic robe

在這之前嘗試了一整天不同的提示詞才獲得我感覺是對的效果。

找到可用的提示詞的方法就是先將原始圖片剪下512x512的方形圖,注重在臉部與上半身的位置,然後使用img2img搭配0.2到0.3的denoising strength,搭配上想要測試的提示詞來改造參考圖,並且將出圖尺寸增大到1024x1024,由於圖變大了,所以Stable Diffusion就可以用更多的空間修改出提示詞要的內容。

下面是我最終調整出來的第一階段參考圖:

第一階段參考圖

第一階段參考圖

第二階段

當有了比較精細的參考圖之後,接下來要生產變化較大的最終參考圖。

首先,使用同樣的提示詞,在txt2img中算圖,但是要打開ControlNet,使用canny或lineart來框定人物的輪廓,在比較之後,我使用lineart來配合算圖:

ControlNet lineart的設定

ControlNet lineart的設定

在重調尺寸的設定上,我使用Resize and Fill,因此來源圖雖然是1024x1024,但我產出的是1152x768的寬圖:

第二階段參考圖

第二階段參考圖

可以看到左右邊Stable Diffsion很聰明地幫我填了還算可以的景。

這時,我們要使用繪圖軟體,將該圖裁剪出512x512的臉部特寫(避免亂七八糟的手指入畫),然後使用img2img配合0.2到0.3的denosing strength放大成768x768,再使用inpaint塗抹臉部範圍,加上masked only來針對面部繼續精細化。

於是我得到了細節足以當做參考圖源的最終參考圖:

最終參考圖

最終參考圖

在這張參考圖的指引下,就能在txt2img下產出解析度比較高的成品圖了:

使用最終參考圖的ControlNet reference_only

使用最終參考圖的ControlNet reference_only

從成果圖來看,細節部分已經能掌握到原本角色的一些特徵了,雖然頭髮上的細節跑掉不少,但是糊成一團的問題已經解決,可以用這些圖來做第二次加工了:

產出成品

產出成品

例如使用左下角的成品圖當作ControlNet lineart的原始資料,可以做出這樣的成品:

招喚師與她的渡鴉朋友

招喚師與她的渡鴉朋友

祝大家AI算圖愉快!

18.5K會員
299內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言0
查看全部
發表第一個留言支持創作者!
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
今天要分享的是一個在重度使用inpaint跟loopback常遇到的問題,就是水漬清除。
最近,光頭佬Olivio Sarikas分享了一個使用ControlNet非官方模型來控制txt2img的光影佈局的方法。
在上一篇文章中,我使用人偶圖產出了一個姿勢正確,但是手指錯亂且臉型崩潰的半成品圖,這一篇我要繼續修正這些問題,得到一個草稿圖,再使用這個草稿製作大張的完成圖。
前言 本篇要介紹一個流程,讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度,並且經過一套流程之後,轉化成我們要的人物。 在使用Stable Diffusion生成圖片時,最常遇見的問題是人物的動作或位置不照我們的心意生成,尤其是一些高動態或不常見的姿勢與角度,或者手持物品,在某些模型上是
本篇要解說一個用ControlNet加上Loopback來達到修正壞掉的手部姿勢的方法。這個方法與之前寫過的 Stable Diffusion進階 -- 手部修復 最大的不同點是,要求更高一些的繪圖軟體技巧,以及使用ControlNet來監控修復的完成度。
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
今天要分享的是一個在重度使用inpaint跟loopback常遇到的問題,就是水漬清除。
最近,光頭佬Olivio Sarikas分享了一個使用ControlNet非官方模型來控制txt2img的光影佈局的方法。
在上一篇文章中,我使用人偶圖產出了一個姿勢正確,但是手指錯亂且臉型崩潰的半成品圖,這一篇我要繼續修正這些問題,得到一個草稿圖,再使用這個草稿製作大張的完成圖。
前言 本篇要介紹一個流程,讓我們可以使用人偶姿勢生成網站或App來製作特意的姿勢與角度,並且經過一套流程之後,轉化成我們要的人物。 在使用Stable Diffusion生成圖片時,最常遇見的問題是人物的動作或位置不照我們的心意生成,尤其是一些高動態或不常見的姿勢與角度,或者手持物品,在某些模型上是
本篇要解說一個用ControlNet加上Loopback來達到修正壞掉的手部姿勢的方法。這個方法與之前寫過的 Stable Diffusion進階 -- 手部修復 最大的不同點是,要求更高一些的繪圖軟體技巧,以及使用ControlNet來監控修復的完成度。
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
最近一直在嘗試把一個夢想許久的小說插畫做出來。 我想要做出一個大魄力的畫面,敘述小說女主角大開殺戒的那一瞬間。 測試了三個不同的版本,終於給我做出來了!
Thumbnail
最近在嘗試使用不同的AI生圖方式混合出圖的方式,採用A平台的優點,並用B平台後製的手法截長補短,創造出自己更想要的小說場景,效果不錯,現在以這張圖為例,來講一下我的製作步驟。
Thumbnail
最近有空時就在看如何使用AI作圖的方式製作出有魄力的動作與構圖,恰巧在Civitai這個AI作圖網站上找到了一些有趣的人物姿態,因此發想了一些構圖,依照這些構想做出來的圖效果還算可以接受,因此在這邊記錄一下過程與步驟。
Thumbnail
為了配合小說「烈火之心」試閱章節(四) -- Stable Diffusion繪製 的情節,我需要生成一副高動態的唯美圖樣,為此我使用了幾個技巧做到,就在這邊記錄下來以為後用。
Thumbnail
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
這個應用情境可能是,如果你有自己的產品想要以QRcode來行銷,而「文生圖」(txt2img)的結果又無法與你的實際想像契合時,那麼用你的實際產品做為基底的圖生圖(img2img)QRcode就是一個不錯的選項。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃,這是一篇進階教學文章,需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Thumbnail
Vlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
最近一直在嘗試把一個夢想許久的小說插畫做出來。 我想要做出一個大魄力的畫面,敘述小說女主角大開殺戒的那一瞬間。 測試了三個不同的版本,終於給我做出來了!
Thumbnail
最近在嘗試使用不同的AI生圖方式混合出圖的方式,採用A平台的優點,並用B平台後製的手法截長補短,創造出自己更想要的小說場景,效果不錯,現在以這張圖為例,來講一下我的製作步驟。
Thumbnail
最近有空時就在看如何使用AI作圖的方式製作出有魄力的動作與構圖,恰巧在Civitai這個AI作圖網站上找到了一些有趣的人物姿態,因此發想了一些構圖,依照這些構想做出來的圖效果還算可以接受,因此在這邊記錄一下過程與步驟。
Thumbnail
為了配合小說「烈火之心」試閱章節(四) -- Stable Diffusion繪製 的情節,我需要生成一副高動態的唯美圖樣,為此我使用了幾個技巧做到,就在這邊記錄下來以為後用。
Thumbnail
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
這個應用情境可能是,如果你有自己的產品想要以QRcode來行銷,而「文生圖」(txt2img)的結果又無法與你的實際想像契合時,那麼用你的實際產品做為基底的圖生圖(img2img)QRcode就是一個不錯的選項。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃,這是一篇進階教學文章,需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Thumbnail
Vlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低