AI繪圖-教學:如何在stable diffusion webui上使用最新的SDXL?

更新於 發佈於 閱讀時間約 5 分鐘

注意事項:

在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。

1.SDXL必須的顯卡VRAM更高,以我的RTX 3080 10GB為例,在預設情況下是跑不動的,必須在啟動參數加上--medvram才能夠使用。(原本RTX 3080還算中上等級的顯卡,結果在SDXL中突然淪為平民。)

2.SDXL的繪圖耗時更久,以我的情況來說還不錯,繪製1024*1024的圖不會超過一分鐘,據網友分享,有人畫一張圖要好幾分鐘甚至十幾分鐘(依硬體情況而不同)。

3.以前的各種外掛與元件,包括繪圖模型,controlnet與lora或多數的功能性外掛都不相容,你必須重新煉製或是等待作者更新版本。

4.SDXL可以更加理解prompt,亂畫的機率稍低一些,但手指同樣是....就那樣。

5.SDXL不需要在prompt加一堆廢話,例如master pieces, best quality等無意義的詞也能畫出不錯的圖。同樣的,負面提示(negative prompt)對於SDXL來說也不是那麼必要了。

6.SDXL在繪製大圖時效果較佳,以1024*1024為基礎值,小圖雖然也能畫但品質較差。

7.一個比較鮮明的突破點是,對於"文字"的理解力與生成力更高,能夠生成可以辨識的正確文字。

HELLO

HELLO

8.需要較高的steps,至少30步,而採樣器方面,推薦DPM系列。

9.SDXL還是很新的東西,網友們也都還在摸索嚐試,有很多問題目前並沒有答案。安裝前最好先備份,有很多網友安裝過程中出現各種奇奇怪怪的錯誤。


1.使用SDXL的4個前置步驟:

1.1把stable diffusion webui更新到最新版

開啟cmd視窗,並切換到stable diffusion webui安裝資料夾下,接著執行git pull指令即可。

cmd視窗

cmd視窗

1.2 下載SDXL模型檔

現在試玩正是時候,現在要下載模型檔方便多了,直接就能下載,之前還要填個註冊表還要抓token密碼什麼的,超麻煩。

直接到下面兩個網址,分別下載sd_xl_base_1.0與sd_xl_refiner_1.0兩個模型檔:

sd_xl_base_1.0下載網址

sd_xl_refiner_1.0下載網址

下載好後,直接把這兩模型檔丟到"stable diffusion webui安裝資料夾\models\Stable-diffusion\"這個路徑即可,跟一般模型的放置路徑相同。

1.3下載VAE檔案

到下列網址下載VAE檔案:

VAE下載網址

下載後把VAE檔案丟到"stable diffusion webui安裝資料夾\models\VAE\"這個路徑即可,跟一般VAE的放置路徑相同。

1.4 確保使用到正確的VAE檔

SDXL要使用專用的VAE檔,也就是第三步下載的那個檔案。

開啟stable diffusion webui的設定介面,然後切到User interface頁籤,接著在Quicksettings list這個設定項中加入sd_vae

設定介面

設定介面

完成後儲存設定並重啟stable diffusion webui介面,這時在繪圖介面的上方即會出現vae的快速切換下拉選單,記得使用SDXL時要選用sdxl_vae

繪圖介面

繪圖介面

2.基本使用步驟

2.1文生圖模式:

我們在一開始就下載了兩個模型,其中sd_xl_base_1.0是用於文生圖模式。

到這個階段前置步驟都完成了,之後的使用方式就是跟以往的繪圖操作一模一樣了,唯一重點就是記得繪圖模組要選擇sd_xl_base_1.0,並且vae要選擇sdxl_vae

繪圖介面

繪圖介面


SDXL的模型載入會較慢,繪圖耗時也較久,這是必然的。

繪圖完成後的示意圖如下,基本上就跟平常的操作結果相同。

繪圖結果

繪圖結果

2.2圖生圖模式:

在我們下載的兩個模型檔中,sd_xl_refiner_1.0是專門用於img2img模式,用來提高圖片精度。

常見的操作流程是直接把文生圖模式的圖直接傳到img2img中做二次精修,當然一般圖片也是能用。

操作步驟與以前的img2img一模一樣,唯一的重點同樣是記得把繪圖模組切換為sd_xl_refiner_1.0,而vae同樣必須使用sdxl_vae

繪圖介面

繪圖介面

操作邏輯也沒變,如果僅僅是希望對原圖做微調精修的話,Denoising strength就不要調的太高。同樣的,繪圖結果也是隨機的,不一定修了就一定會更好。

img2img操作示意圖:

繪圖結果

繪圖結果

base原圖

base原圖

refine精修結果,denoising strength=0.2

refine精修結果,denoising strength=0.2

補充:

在我前面的兩篇文章中有提到,SDXL的重點是它建立起來的基礎,我們可以期待的是以它為基礎所建造出來的各種特製模組。初期的數量還不算多,但各路大神們的動作也算很快,很多重要的模組或lora都開始出現SDXL版本了。

我在此只先推薦一個知名且必用又好用的模組:DreamShaper XL1.0。

DreamShaper XL1.0下載網址

raw-image

當然不只這個,只要在C站以SDXL或是XL當關鍵字搜尋,已經可以找到很多了, 相信之後成長的速度會越來越快。

raw-image
同一組prompt使用dream shaper XL繪製

同一組prompt使用dream shaper XL繪製


avatar-img
277會員
90內容數
沙龍自介: 雜文派,舉凡AI介紹、科技新知、廢談網誌、小說動漫通通都寫。雖說如此,但目前以AI與科技類文章為主軸,我也不知道怎麼變這樣的,holy 媽祖。 本人不喜歡看長篇文章,也不擅長寫長篇文章,我的意思是:我的優點是廢話很少,看我一篇文不會花你太多時間。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
因人廢言 的其他內容
其實我消息算是有點後知後覺,才剛寫完SDXL0.9的消息後,才知道其實SDXL 1.0也發佈了。 有個小小的差別是,目前想試用SDXL 1.0稍微麻煩一點點,它只能在discord中使用。目前還是免費使用,如果它的經營模式跟midjourney一樣的話,應該不久後就要收費了。
SDXL 0.9是stable diffusion新推出的一個繪圖模型,宣稱效果更好,且其訓練基礎由傳統的512x512提升到1024x1024,所以繪製大圖時效果較佳,且據某些網站表示,SDXL 0.9的假想敵會是Midjourney。 這裡介紹兩個可以簡單快速試用SDXL 0.9的網站。
這篇簡介一下目前在stable diffusion web UI中常見常用的四種圖片放大方法,包括:Hires.fix,Upscaler,ControlNet Tile。
這次要介紹的是stable diffusion webui下的一個小型外掛face editor,可以自動把醜臉歪臉修正回來,不論是大臉小臉都適用,使用方面,原則上全照預設值就行,簡單易用。
上次介紹了一個免費的AI繪圖工具leonardo.ai, 今天再來介紹一個同樣免費的AI繪圖網站Playground AI。 網址:https://playgroundai.com/ 它最大的亮點是每天可以畫一千張圖! 再嫌不夠我也沒辦法了。
究竟是平價便宜的leonardo吸引人,還是高貴奢華的midjourney令人嚮往。今天再多介紹一個低成本低門檻的繪圖工具,多個選擇總是好的。 常言道,便宜沒好貨,但leonardo並沒有因為低廉的收費而犧牲繪圖。
其實我消息算是有點後知後覺,才剛寫完SDXL0.9的消息後,才知道其實SDXL 1.0也發佈了。 有個小小的差別是,目前想試用SDXL 1.0稍微麻煩一點點,它只能在discord中使用。目前還是免費使用,如果它的經營模式跟midjourney一樣的話,應該不久後就要收費了。
SDXL 0.9是stable diffusion新推出的一個繪圖模型,宣稱效果更好,且其訓練基礎由傳統的512x512提升到1024x1024,所以繪製大圖時效果較佳,且據某些網站表示,SDXL 0.9的假想敵會是Midjourney。 這裡介紹兩個可以簡單快速試用SDXL 0.9的網站。
這篇簡介一下目前在stable diffusion web UI中常見常用的四種圖片放大方法,包括:Hires.fix,Upscaler,ControlNet Tile。
這次要介紹的是stable diffusion webui下的一個小型外掛face editor,可以自動把醜臉歪臉修正回來,不論是大臉小臉都適用,使用方面,原則上全照預設值就行,簡單易用。
上次介紹了一個免費的AI繪圖工具leonardo.ai, 今天再來介紹一個同樣免費的AI繪圖網站Playground AI。 網址:https://playgroundai.com/ 它最大的亮點是每天可以畫一千張圖! 再嫌不夠我也沒辦法了。
究竟是平價便宜的leonardo吸引人,還是高貴奢華的midjourney令人嚮往。今天再多介紹一個低成本低門檻的繪圖工具,多個選擇總是好的。 常言道,便宜沒好貨,但leonardo並沒有因為低廉的收費而犧牲繪圖。
你可能也想看
Google News 追蹤
Thumbnail
現代社會跟以前不同了,人人都有一支手機,只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行,然而如今科技快速發展之下,金融App無聲無息地進到你生活中。但同樣的,每一家銀行都有自己的App時,我們又該如何選擇呢?(本文係由國泰世華銀行邀約) 今天我會用不同角度帶大家看這款國泰世華CUB
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
生成式AI工具即將邁入三年,除了ChatGPT以外,也進化了許多GenAI工具,如Sora影片生成等。 你知道Stable Diffusion嗎? 從詠唱魔法師Prompts的玩家或職務,AI浪潮持續推進下,SD-WebUI並沒有停滯或被淘汰。 結果告訴了我們一件事情...
Thumbnail
Enhance This HiDiffusion SDXL是一個AI模型,結合HiDiffusion和SDXL兩種圖像生成模型,可以根據既有影像和文字描述生成新的圖像,可用來提高圖像解析度、修復瑕疵、轉換風格和自由創造新的圖像。
Thumbnail
隨著人工智能技術的發展,AI 繪圖已經變得常見。Fast Stable Diffusion XL on TPUv5e 是在 Hugging Face 平臺上建立的演示模型,使用 TPU v5e 運行 SDXL 模型,大幅提高了圖像生成速度,生成一張 1024x1024 圖像只需約 10 秒。
Thumbnail
這篇要介紹AI生成影片的兩個方式:SVD 跟 AnimateDiff。
Thumbnail
ComfyUI教學第二階段之[Upscale&SDXL],本篇介紹 upscale 與 SDXL 的基本架構,包含相關控制項的調整、模型的選擇以及高級功能的使用。這個階段一共會分成三部影片、三篇文字版。
Thumbnail
Tensor Art 使用 Stable Diffusion 的各種模型,也能使用ControlNet 和 LoRA功能,根據使用者的輸入來文生圖、圖生圖,生成各種風格的高質量圖像,包括人像、動人的風景、創意的抽象畫等。
Thumbnail
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
這篇要來分享一下學習了一些攝影的知識後,用於改良AI生圖的經驗。 AI生圖可以藉由少少的幾個句子產生出非常美麗的圖片,事實上,很多時候AI生圖的極限是卡在人類使用者的想像力之下。
Thumbnail
現代社會跟以前不同了,人人都有一支手機,只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行,然而如今科技快速發展之下,金融App無聲無息地進到你生活中。但同樣的,每一家銀行都有自己的App時,我們又該如何選擇呢?(本文係由國泰世華銀行邀約) 今天我會用不同角度帶大家看這款國泰世華CUB
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
生成式AI工具即將邁入三年,除了ChatGPT以外,也進化了許多GenAI工具,如Sora影片生成等。 你知道Stable Diffusion嗎? 從詠唱魔法師Prompts的玩家或職務,AI浪潮持續推進下,SD-WebUI並沒有停滯或被淘汰。 結果告訴了我們一件事情...
Thumbnail
Enhance This HiDiffusion SDXL是一個AI模型,結合HiDiffusion和SDXL兩種圖像生成模型,可以根據既有影像和文字描述生成新的圖像,可用來提高圖像解析度、修復瑕疵、轉換風格和自由創造新的圖像。
Thumbnail
隨著人工智能技術的發展,AI 繪圖已經變得常見。Fast Stable Diffusion XL on TPUv5e 是在 Hugging Face 平臺上建立的演示模型,使用 TPU v5e 運行 SDXL 模型,大幅提高了圖像生成速度,生成一張 1024x1024 圖像只需約 10 秒。
Thumbnail
這篇要介紹AI生成影片的兩個方式:SVD 跟 AnimateDiff。
Thumbnail
ComfyUI教學第二階段之[Upscale&SDXL],本篇介紹 upscale 與 SDXL 的基本架構,包含相關控制項的調整、模型的選擇以及高級功能的使用。這個階段一共會分成三部影片、三篇文字版。
Thumbnail
Tensor Art 使用 Stable Diffusion 的各種模型,也能使用ControlNet 和 LoRA功能,根據使用者的輸入來文生圖、圖生圖,生成各種風格的高質量圖像,包括人像、動人的風景、創意的抽象畫等。
Thumbnail
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
這篇要來分享一下學習了一些攝影的知識後,用於改良AI生圖的經驗。 AI生圖可以藉由少少的幾個句子產生出非常美麗的圖片,事實上,很多時候AI生圖的極限是卡在人類使用者的想像力之下。