AI繪圖-教學:如何在stable diffusion webui上使用最新的SDXL?

更新於 發佈於 閱讀時間約 5 分鐘

注意事項:

在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。

1.SDXL必須的顯卡VRAM更高,以我的RTX 3080 10GB為例,在預設情況下是跑不動的,必須在啟動參數加上--medvram才能夠使用。(原本RTX 3080還算中上等級的顯卡,結果在SDXL中突然淪為平民。)

2.SDXL的繪圖耗時更久,以我的情況來說還不錯,繪製1024*1024的圖不會超過一分鐘,據網友分享,有人畫一張圖要好幾分鐘甚至十幾分鐘(依硬體情況而不同)。

3.以前的各種外掛與元件,包括繪圖模型,controlnet與lora或多數的功能性外掛都不相容,你必須重新煉製或是等待作者更新版本。

4.SDXL可以更加理解prompt,亂畫的機率稍低一些,但手指同樣是....就那樣。

5.SDXL不需要在prompt加一堆廢話,例如master pieces, best quality等無意義的詞也能畫出不錯的圖。同樣的,負面提示(negative prompt)對於SDXL來說也不是那麼必要了。

6.SDXL在繪製大圖時效果較佳,以1024*1024為基礎值,小圖雖然也能畫但品質較差。

7.一個比較鮮明的突破點是,對於"文字"的理解力與生成力更高,能夠生成可以辨識的正確文字。

HELLO

HELLO

8.需要較高的steps,至少30步,而採樣器方面,推薦DPM系列。

9.SDXL還是很新的東西,網友們也都還在摸索嚐試,有很多問題目前並沒有答案。安裝前最好先備份,有很多網友安裝過程中出現各種奇奇怪怪的錯誤。


1.使用SDXL的4個前置步驟:

1.1把stable diffusion webui更新到最新版

開啟cmd視窗,並切換到stable diffusion webui安裝資料夾下,接著執行git pull指令即可。

cmd視窗

cmd視窗

1.2 下載SDXL模型檔

現在試玩正是時候,現在要下載模型檔方便多了,直接就能下載,之前還要填個註冊表還要抓token密碼什麼的,超麻煩。

直接到下面兩個網址,分別下載sd_xl_base_1.0與sd_xl_refiner_1.0兩個模型檔:

sd_xl_base_1.0下載網址

sd_xl_refiner_1.0下載網址

下載好後,直接把這兩模型檔丟到"stable diffusion webui安裝資料夾\models\Stable-diffusion\"這個路徑即可,跟一般模型的放置路徑相同。

1.3下載VAE檔案

到下列網址下載VAE檔案:

VAE下載網址

下載後把VAE檔案丟到"stable diffusion webui安裝資料夾\models\VAE\"這個路徑即可,跟一般VAE的放置路徑相同。

1.4 確保使用到正確的VAE檔

SDXL要使用專用的VAE檔,也就是第三步下載的那個檔案。

開啟stable diffusion webui的設定介面,然後切到User interface頁籤,接著在Quicksettings list這個設定項中加入sd_vae

設定介面

設定介面

完成後儲存設定並重啟stable diffusion webui介面,這時在繪圖介面的上方即會出現vae的快速切換下拉選單,記得使用SDXL時要選用sdxl_vae

繪圖介面

繪圖介面

2.基本使用步驟

2.1文生圖模式:

我們在一開始就下載了兩個模型,其中sd_xl_base_1.0是用於文生圖模式。

到這個階段前置步驟都完成了,之後的使用方式就是跟以往的繪圖操作一模一樣了,唯一重點就是記得繪圖模組要選擇sd_xl_base_1.0,並且vae要選擇sdxl_vae

繪圖介面

繪圖介面


SDXL的模型載入會較慢,繪圖耗時也較久,這是必然的。

繪圖完成後的示意圖如下,基本上就跟平常的操作結果相同。

繪圖結果

繪圖結果

2.2圖生圖模式:

在我們下載的兩個模型檔中,sd_xl_refiner_1.0是專門用於img2img模式,用來提高圖片精度。

常見的操作流程是直接把文生圖模式的圖直接傳到img2img中做二次精修,當然一般圖片也是能用。

操作步驟與以前的img2img一模一樣,唯一的重點同樣是記得把繪圖模組切換為sd_xl_refiner_1.0,而vae同樣必須使用sdxl_vae

繪圖介面

繪圖介面

操作邏輯也沒變,如果僅僅是希望對原圖做微調精修的話,Denoising strength就不要調的太高。同樣的,繪圖結果也是隨機的,不一定修了就一定會更好。

img2img操作示意圖:

繪圖結果

繪圖結果

base原圖

base原圖

refine精修結果,denoising strength=0.2

refine精修結果,denoising strength=0.2

補充:

在我前面的兩篇文章中有提到,SDXL的重點是它建立起來的基礎,我們可以期待的是以它為基礎所建造出來的各種特製模組。初期的數量還不算多,但各路大神們的動作也算很快,很多重要的模組或lora都開始出現SDXL版本了。

我在此只先推薦一個知名且必用又好用的模組:DreamShaper XL1.0。

DreamShaper XL1.0下載網址

raw-image

當然不只這個,只要在C站以SDXL或是XL當關鍵字搜尋,已經可以找到很多了, 相信之後成長的速度會越來越快。

raw-image
同一組prompt使用dream shaper XL繪製

同一組prompt使用dream shaper XL繪製


留言
avatar-img
留言分享你的想法!
哇!十萬元級的顯卡!貧窮限制了大叔的想像力。
巴洛克大叔-avatar-img
發文者
2023/08/01
老安的雜文基地 其實只是時代的自然演進造成的變化而已,現在入門的電玩顯卡4060也是給到8GB了,前一代的3060甚至還給到12GB,不過價格當然也是三級跳,回不去了,很久以前我買一張基本的電玩卡不會超過五千,甚至兩三千就有,現在入門級的價格已經飛到萬元左右了。
巴洛克大叔-avatar-img
發文者
2023/09/05
stable-diffusion-webui AUTOMATIC1111在更新1.6版後的八大重點項目提及了這篇文章,趕快過去看看吧!
avatar-img
因人廢言
280會員
91內容數
沙龍自介: 雜文派,舉凡AI介紹、科技新知、廢談網誌、小說動漫通通都寫。雖說如此,但目前以AI與科技類文章為主軸,我也不知道怎麼變這樣的,holy 媽祖。 本人不喜歡看長篇文章,也不擅長寫長篇文章,我的意思是:我的優點是廢話很少,看我一篇文不會花你太多時間。
因人廢言的其他內容
2024/03/19
簡介stable diffusion外掛之一的SadTalker。它能將靜態圖像配合聲音檔轉成對嘴動畫。 同時附上使用範例,惡搞了黃國昌甩蔥歌與川普。
Thumbnail
2024/03/19
簡介stable diffusion外掛之一的SadTalker。它能將靜態圖像配合聲音檔轉成對嘴動畫。 同時附上使用範例,惡搞了黃國昌甩蔥歌與川普。
Thumbnail
2024/02/20
本文介紹ReActor這套AI換臉軟體,它是stable diffusion外掛之一,可以視為deepFake與Lora的簡易替代品,易用好上手。 內容從基礎安裝開始講解,亦包含實際操作過程與圖片範例。 為免侵犯敏感人物的肖象權,內文以川普換與拜登做為例子。
Thumbnail
2024/02/20
本文介紹ReActor這套AI換臉軟體,它是stable diffusion外掛之一,可以視為deepFake與Lora的簡易替代品,易用好上手。 內容從基礎安裝開始講解,亦包含實際操作過程與圖片範例。 為免侵犯敏感人物的肖象權,內文以川普換與拜登做為例子。
Thumbnail
2024/01/26
2024年了,回顧一下我這整年寫過的文章,也回顧一下我用過的那些AI繪圖工具,2023真的是AI爆發的一年,如今AI工具已然滿大街都是,但這個專題我儘量還是本著初心,只介紹自己覺得有用的工具。 本文精選7個即使歷經一年的AI狂潮洗禮後我仍然覺得值得實用的AI繪圖工具。
Thumbnail
2024/01/26
2024年了,回顧一下我這整年寫過的文章,也回顧一下我用過的那些AI繪圖工具,2023真的是AI爆發的一年,如今AI工具已然滿大街都是,但這個專題我儘量還是本著初心,只介紹自己覺得有用的工具。 本文精選7個即使歷經一年的AI狂潮洗禮後我仍然覺得值得實用的AI繪圖工具。
Thumbnail
看更多
你可能也想看
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
SDXL Turbo主打可以1 step就產生一定品質的圖片 (圖片品質比SDXL甚至SD 1.5還要低),完全是以速度取勝,那麼SDXL Turbo這個技術代表的是怎樣的突破呢? 究竟秒出圖的技術能夠有什麼實際的應用呢? 這就是我們這篇想要探討的。
Thumbnail
SDXL Turbo主打可以1 step就產生一定品質的圖片 (圖片品質比SDXL甚至SD 1.5還要低),完全是以速度取勝,那麼SDXL Turbo這個技術代表的是怎樣的突破呢? 究竟秒出圖的技術能夠有什麼實際的應用呢? 這就是我們這篇想要探討的。
Thumbnail
幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。
Thumbnail
幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。
Thumbnail
高保真圖像放大??超高清無損?滿滿的細節? – StableSR…….
Thumbnail
高保真圖像放大??超高清無損?滿滿的細節? – StableSR…….
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
在SD WebUi 文生圖的介面下,我們可以通過文字描述(提示詞-prompt)搭配不同採樣演算法,迭代步數,CFG值…等參數的設定,去控制圖像模型生成我們所想要的圖片內容。
Thumbnail
在SD WebUi 文生圖的介面下,我們可以通過文字描述(提示詞-prompt)搭配不同採樣演算法,迭代步數,CFG值…等參數的設定,去控制圖像模型生成我們所想要的圖片內容。
Thumbnail
這篇文章講解在stable diffusion webui上安裝SDXL。 在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。
Thumbnail
這篇文章講解在stable diffusion webui上安裝SDXL。 在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。
Thumbnail
資料來源 : StableSR官方GitHub ✿✿杰克艾粒✿✿的StableSR使用指南 ###警告!! 情況高機率不如你的預期,但若你真的很困擾,可以試試看### (內含使用StableSR所需的所有安裝套件) 首先我們來看一下StableSR的效果 如果我們有找到更正確的使用方法
Thumbnail
資料來源 : StableSR官方GitHub ✿✿杰克艾粒✿✿的StableSR使用指南 ###警告!! 情況高機率不如你的預期,但若你真的很困擾,可以試試看### (內含使用StableSR所需的所有安裝套件) 首先我們來看一下StableSR的效果 如果我們有找到更正確的使用方法
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News