此經驗分享使用Automatic1111 WebUI。
網上沒人在談的問題
可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion(下以SD略稱)時,時常會遇到一個令我困擾的問題:
紫色斑塊
而嘗試了多種運算模組(checkpoint models)後,發現不是所有的模組都有這個問題,而且有這個問題的模組,多少是互相混和衍生出來的模組,例如《sweetMix》、《abyssOrangeMix》、《anypastelAnything》、《saluteMix》。
SD的作業通常是由小圖到大圖,而512x512解析度以下的圖片,紫色斑塊非常不明顯。通常要到1024以上才會開始醒目。
就是太醒目了。
這時就輪到VAE登場了。
VAE的相關設定位置如下,需在圖中紅框的「SD VAE」欄位選擇想使用的VAE,選好後請記得點擊橘色的「Apply settings」:
VAE的「計算機式」定義我不知道,不過實際使用方式和「圖像後製」差不多,在算圖後調整色相、飽和度、對比度。
VAE不是專門針對紫色斑塊的,只是其效果剛好能處理紫色斑塊,請參考下圖:
kl-f8-anime2請由此下載(405MB)
VAE的副檔名目前我知道的有.ckpt和.vae.pt兩種,下載後都請放在StableDiff\webui\models\VAE\資料夾。
anything-v4.0請由此下載(823MB)
blessed2請由此下載(335MB)
嚴格來說紫色斑塊沒有消失,但基本上人眼不會發現。
上面的範例圖為了讓他們約會而打光偏暗,所以三種VAE的差別不太明顯,下面的範例圖就很明顯了:
kl-f8-anime2非常會凸顯細節,例如後方樹籬笆。
anything-v4.0和blessed2頗相似,但anything略淡,blessed2略鮮艷。
實際上VAE除了影響色相、飽和度、對比度,還有微調運算的功能。
因此VAE是會影響畫風的。
所以不會出現紫色斑塊的模組,VAE就是隨自己需求使用,例如下面chilloutMix模組運算的範例圖:
原本用在動漫風的圖時,kl-f8會比原圖鮮豔,其他兩者則較接近原圖。但用在偏寫實的chilloutMix上時,卻是kl-f8更接近原圖飽和度和對比度,其他兩者反而變得比原圖淡。
就各取所好囉。