AI繪圖-教學:如何在stable diffusion webui上使用最新的SDXL?

2023/07/31閱讀時間約 5 分鐘

注意事項:

在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。

1.SDXL必須的顯卡VRAM更高,以我的RTX 3080 10GB為例,在預設情況下是跑不動的,必須在啟動參數加上--medvram才能夠使用。(原本RTX 3080還算中上等級的顯卡,結果在SDXL中突然淪為平民。)

2.SDXL的繪圖耗時更久,以我的情況來說還不錯,繪製1024*1024的圖不會超過一分鐘,據網友分享,有人畫一張圖要好幾分鐘甚至十幾分鐘(依硬體情況而不同)。

3.以前的各種外掛與元件,包括繪圖模型,controlnet與lora或多數的功能性外掛都不相容,你必須重新煉製或是等待作者更新版本。

4.SDXL可以更加理解prompt,亂畫的機率稍低一些,但手指同樣是....就那樣。

5.SDXL不需要在prompt加一堆廢話,例如master pieces, best quality等無意義的詞也能畫出不錯的圖。同樣的,負面提示(negative prompt)對於SDXL來說也不是那麼必要了。

6.SDXL在繪製大圖時效果較佳,以1024*1024為基礎值,小圖雖然也能畫但品質較差。

7.一個比較鮮明的突破點是,對於"文字"的理解力與生成力更高,能夠生成可以辨識的正確文字。

HELLO

HELLO

8.需要較高的steps,至少30步,而採樣器方面,推薦DPM系列。

9.SDXL還是很新的東西,網友們也都還在摸索嚐試,有很多問題目前並沒有答案。安裝前最好先備份,有很多網友安裝過程中出現各種奇奇怪怪的錯誤。


1.使用SDXL的4個前置步驟:

1.1把stable diffusion webui更新到最新版

開啟cmd視窗,並切換到stable diffusion webui安裝資料夾下,接著執行git pull指令即可。

cmd視窗

cmd視窗

1.2 下載SDXL模型檔

現在試玩正是時候,現在要下載模型檔方便多了,直接就能下載,之前還要填個註冊表還要抓token密碼什麼的,超麻煩。

直接到下面兩個網址,分別下載sd_xl_base_1.0與sd_xl_refiner_1.0兩個模型檔:

sd_xl_base_1.0下載網址

sd_xl_refiner_1.0下載網址

下載好後,直接把這兩模型檔丟到"stable diffusion webui安裝資料夾\models\Stable-diffusion\"這個路徑即可,跟一般模型的放置路徑相同。

1.3下載VAE檔案

到下列網址下載VAE檔案:

VAE下載網址

下載後把VAE檔案丟到"stable diffusion webui安裝資料夾\models\VAE\"這個路徑即可,跟一般VAE的放置路徑相同。

1.4 確保使用到正確的VAE檔

SDXL要使用專用的VAE檔,也就是第三步下載的那個檔案。

開啟stable diffusion webui的設定介面,然後切到User interface頁籤,接著在Quicksettings list這個設定項中加入sd_vae

設定介面

設定介面

完成後儲存設定並重啟stable diffusion webui介面,這時在繪圖介面的上方即會出現vae的快速切換下拉選單,記得使用SDXL時要選用sdxl_vae

繪圖介面

繪圖介面

2.基本使用步驟

2.1文生圖模式:

我們在一開始就下載了兩個模型,其中sd_xl_base_1.0是用於文生圖模式。

到這個階段前置步驟都完成了,之後的使用方式就是跟以往的繪圖操作一模一樣了,唯一重點就是記得繪圖模組要選擇sd_xl_base_1.0,並且vae要選擇sdxl_vae

繪圖介面

繪圖介面


SDXL的模型載入會較慢,繪圖耗時也較久,這是必然的。

繪圖完成後的示意圖如下,基本上就跟平常的操作結果相同。

繪圖結果

繪圖結果

2.2圖生圖模式:

在我們下載的兩個模型檔中,sd_xl_refiner_1.0是專門用於img2img模式,用來提高圖片精度。

常見的操作流程是直接把文生圖模式的圖直接傳到img2img中做二次精修,當然一般圖片也是能用。

操作步驟與以前的img2img一模一樣,唯一的重點同樣是記得把繪圖模組切換為sd_xl_refiner_1.0,而vae同樣必須使用sdxl_vae

繪圖介面

繪圖介面

操作邏輯也沒變,如果僅僅是希望對原圖做微調精修的話,Denoising strength就不要調的太高。同樣的,繪圖結果也是隨機的,不一定修了就一定會更好。

img2img操作示意圖:

繪圖結果

繪圖結果

base原圖

base原圖

refine精修結果,denoising strength=0.2

refine精修結果,denoising strength=0.2

補充:

在我前面的兩篇文章中有提到,SDXL的重點是它建立起來的基礎,我們可以期待的是以它為基礎所建造出來的各種特製模組。初期的數量還不算多,但各路大神們的動作也算很快,很多重要的模組或lora都開始出現SDXL版本了。

我在此只先推薦一個知名且必用又好用的模組:DreamShaper XL1.0。

DreamShaper XL1.0下載網址

raw-image

當然不只這個,只要在C站以SDXL或是XL當關鍵字搜尋,已經可以找到很多了, 相信之後成長的速度會越來越快。

raw-image
同一組prompt使用dream shaper XL繪製

同一組prompt使用dream shaper XL繪製


250會員
87內容數
沙龍自介: 雜文派,舉凡AI介紹、科技新知、廢談網誌、小說動漫通通都寫。雖說如此,但目前以AI與科技類文章為主軸,我也不知道怎麼變這樣的,holy 媽祖。 本人不喜歡看長篇文章,也不擅長寫長篇文章,我的意思是:我的優點是廢話很少,看我一篇文不會花你太多時間。
留言0
查看全部
發表第一個留言支持創作者!