2023-04-20|閱讀時間 ‧ 約 4 分鐘

紫斑塊 vs VAE - Stable Diffusion

此經驗分享使用Automatic1111 WebUI。

網上沒人在談的問題

  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion(下以SD略稱)時,時常會遇到一個令我困擾的問題:
紫色斑塊
好紫啊。
好紫啊。
  而嘗試了多種運算模組(checkpoint models)後,發現不是所有的模組都有這個問題,而且有這個問題的模組,多少是互相混和衍生出來的模組,例如《sweetMix》、《abyssOrangeMix》、《anypastelAnything》、《saluteMix》。
  SD的作業通常是由小圖到大圖,而512x512解析度以下的圖片,紫色斑塊非常不明顯。通常要到1024以上才會開始醒目。
  就是太醒目了。

這時就輪到VAE登場了。

  VAE的相關設定位置如下,需在圖中紅框的「SD VAE」欄位選擇想使用的VAE,選好後請記得點擊橘色的「Apply settings」:
VAE設定的位置
  VAE的「計算機式」定義我不知道,不過實際使用方式和「圖像後製」差不多,在算圖後調整色相、飽和度、對比度
  VAE不是專門針對紫色斑塊的,只是其效果剛好能處理紫色斑塊,請參考下圖:
下方是三種VAE的1024版本,可和第一張用紅圈標示紫色斑塊的無VAE圖對照。

kl-f8-anime2請由此下載(405MB)
  VAE的副檔名目前我知道的有.ckpt和.vae.pt兩種,下載後都請放在StableDiff\webui\models\VAE\資料夾。
kl-f8-anime2

anything-v4.0請由此下載(823MB)
anything-v4.0

blessed2請由此下載(335MB)
blessed2

嚴格來說紫色斑塊沒有消失,但基本上人眼不會發現。

  上面的範例圖為了讓他們約會而打光偏暗,所以三種VAE的差別不太明顯,下面的範例圖就很明顯了:
原512x512
將原圖放大的1024x1024版本,無VAE,可以見到多處紫色斑塊,且顏色變淡。
使用kl-f8-anime2放大。

  kl-f8-anime2非常會凸顯細節,例如後方樹籬笆。
anything-v4.0
blessed2

  anything-v4.0和blessed2頗相似,但anything略淡,blessed2略鮮艷。
  實際上VAE除了影響色相、飽和度、對比度,還有微調運算的功能

因此VAE是會影響畫風的。

  所以不會出現紫色斑塊的模組,VAE就是隨自己需求使用,例如下面chilloutMix模組運算的範例圖:
無VAE
kl-f8-anime2 凸顯了服飾金色花紋的立體感。
anything-v4.0
blessed2
  原本用在動漫風的圖時,kl-f8會比原圖鮮豔,其他兩者則較接近原圖。但用在偏寫實的chilloutMix上時,卻是kl-f8更接近原圖飽和度和對比度,其他兩者反而變得比原圖淡。
  就各取所好囉。
分享至
成為作者繼續創作的動力吧!
© 2024 vocus All rights reserved.