紫斑塊 vs VAE - Stable Diffusion

更新 發佈閱讀 4 分鐘

此經驗分享使用Automatic1111 WebUI。

網上沒人在談的問題

  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion(下以SD略稱)時,時常會遇到一個令我困擾的問題:

紫色斑塊

raw-image

  而嘗試了多種運算模組(checkpoint models)後,發現不是所有的模組都有這個問題,而且有這個問題的模組,多少是互相混和衍生出來的模組,例如《sweetMix》、《abyssOrangeMix》、《anypastelAnything》、《saluteMix》。

  SD的作業通常是由小圖到大圖,而512x512解析度以下的圖片,紫色斑塊非常不明顯。通常要到1024以上才會開始醒目。

  就是太醒目了。

這時就輪到VAE登場了。

  VAE的相關設定位置如下,需在圖中紅框的「SD VAE」欄位選擇想使用的VAE,選好後請記得點擊橘色的「Apply settings」:

raw-image

  VAE的「計算機式」定義我不知道,不過實際使用方式和「圖像後製」差不多,在算圖後調整色相、飽和度、對比度

  VAE不是專門針對紫色斑塊的,只是其效果剛好能處理紫色斑塊,請參考下圖:

raw-image

kl-f8-anime2請由此下載(405MB)

  VAE的副檔名目前我知道的有.ckpt和.vae.pt兩種,下載後都請放在StableDiff\webui\models\VAE\資料夾。

raw-image

anything-v4.0請由此下載(823MB)

raw-image

blessed2請由此下載(335MB)

raw-image

嚴格來說紫色斑塊沒有消失,但基本上人眼不會發現。

  上面的範例圖為了讓他們約會而打光偏暗,所以三種VAE的差別不太明顯,下面的範例圖就很明顯了:

raw-image
raw-image
raw-image

  kl-f8-anime2非常會凸顯細節,例如後方樹籬笆。

raw-image
raw-image

  anything-v4.0和blessed2頗相似,但anything略淡,blessed2略鮮艷。

  實際上VAE除了影響色相、飽和度、對比度,還有微調運算的功能

因此VAE是會影響畫風的。

  所以不會出現紫色斑塊的模組,VAE就是隨自己需求使用,例如下面chilloutMix模組運算的範例圖:

raw-image
raw-image
raw-image
raw-image

  原本用在動漫風的圖時,kl-f8會比原圖鮮豔,其他兩者則較接近原圖。但用在偏寫實的chilloutMix上時,卻是kl-f8更接近原圖飽和度和對比度,其他兩者反而變得比原圖淡。

  就各取所好囉。


留言
avatar-img
︾黑米BR的沙龍︽
82會員
106內容數
筆者探索各種感興趣事物的紀錄。 *副帳非主流政治沙龍《黑米BR不政確》:https://vocus.cc/user/@BRriceP
2023/11/01
筆者最近開啟連載的小說《M.O.N》是以AI、仿生人、安寧療護為主軸的科幻短篇。書封,按照慣例,是自製;也按照慣例,使用了Stable Diffusion (SD)。
Thumbnail
2023/11/01
筆者最近開啟連載的小說《M.O.N》是以AI、仿生人、安寧療護為主軸的科幻短篇。書封,按照慣例,是自製;也按照慣例,使用了Stable Diffusion (SD)。
Thumbnail
2023/10/04
實際上,筆者的Stable Diffusion (Vlad)依舊有些問題,仍不曉得原因是顯卡、Win11、SSD、Vlad或其他,但會先從更新顯卡驅動和重裝Vlad開始找錯。 現況是Vlad運算了二三張圖後就會因為GPU記憶體不夠的問題開始極度緩慢,因此打擊了我創圖的意願。 另一方面,也是對創作
Thumbnail
2023/10/04
實際上,筆者的Stable Diffusion (Vlad)依舊有些問題,仍不曉得原因是顯卡、Win11、SSD、Vlad或其他,但會先從更新顯卡驅動和重裝Vlad開始找錯。 現況是Vlad運算了二三張圖後就會因為GPU記憶體不夠的問題開始極度緩慢,因此打擊了我創圖的意願。 另一方面,也是對創作
Thumbnail
2023/09/20
想著有一陣子沒碰SD,就生成了一張繪圖來致敬。
Thumbnail
2023/09/20
想著有一陣子沒碰SD,就生成了一張繪圖來致敬。
Thumbnail
看更多
你可能也想看
Thumbnail
在 vocus 與你一起探索內容、發掘靈感的路上,我們又將啟動新的冒險——vocus App 正式推出! 現在起,你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔,或一天結束後的放鬆時刻,都能自在沈浸在內容宇宙中。
Thumbnail
在 vocus 與你一起探索內容、發掘靈感的路上,我們又將啟動新的冒險——vocus App 正式推出! 現在起,你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔,或一天結束後的放鬆時刻,都能自在沈浸在內容宇宙中。
Thumbnail
市場經驗拉長之後,很多投資人都會遇到同一個問題:不是方向看錯,而是部位太集中個股,常常跟大趨勢脫節。 早年的台股環境,中小股非常吃香,反而權值股不動,但QE量化寬鬆後,特別是疫情之後,後疫情時代,鈔票大量在股市走動,這些大資金只能往權值股走,因此早年小P的策略偏向中小型個股,但近年AI興起,高技術
Thumbnail
市場經驗拉長之後,很多投資人都會遇到同一個問題:不是方向看錯,而是部位太集中個股,常常跟大趨勢脫節。 早年的台股環境,中小股非常吃香,反而權值股不動,但QE量化寬鬆後,特別是疫情之後,後疫情時代,鈔票大量在股市走動,這些大資金只能往權值股走,因此早年小P的策略偏向中小型個股,但近年AI興起,高技術
Thumbnail
高保真圖像放大??超高清無損?滿滿的細節? – StableSR…….
Thumbnail
高保真圖像放大??超高清無損?滿滿的細節? – StableSR…….
Thumbnail
由於現有顯卡性能限制,想要在圖生圖裡重繪放大一張圖到4k以上的尺寸就得要借用各種分格繪圖再重拼接成大圖的方式,無法一次生成。之前試過大家很推崇的Ultimate SD upscale,但對於我要重繪放大的”真人寫實照片”類型的圖來說,一直出現各種問題........
Thumbnail
由於現有顯卡性能限制,想要在圖生圖裡重繪放大一張圖到4k以上的尺寸就得要借用各種分格繪圖再重拼接成大圖的方式,無法一次生成。之前試過大家很推崇的Ultimate SD upscale,但對於我要重繪放大的”真人寫實照片”類型的圖來說,一直出現各種問題........
Thumbnail
在SD WebUi 文生圖的介面下,我們可以通過文字描述(提示詞-prompt)搭配不同採樣演算法,迭代步數,CFG值…等參數的設定,去控制圖像模型生成我們所想要的圖片內容。
Thumbnail
在SD WebUi 文生圖的介面下,我們可以通過文字描述(提示詞-prompt)搭配不同採樣演算法,迭代步數,CFG值…等參數的設定,去控制圖像模型生成我們所想要的圖片內容。
Thumbnail
玩AI手繪也不錯<Stable Diffusion篇> 在當今數碼時代,照片成為人們記錄生活的重要方式。然而,有時我們渴望將照片轉化為更加藝術性的形式,以獨特的風格呈現。這就是人工智能的力量發揮作用的時候了。利用深度學習和計算機視覺技術,研究人員開發出了一種令人驚嘆的AI技術,可以將照片轉換為手繪效
Thumbnail
玩AI手繪也不錯<Stable Diffusion篇> 在當今數碼時代,照片成為人們記錄生活的重要方式。然而,有時我們渴望將照片轉化為更加藝術性的形式,以獨特的風格呈現。這就是人工智能的力量發揮作用的時候了。利用深度學習和計算機視覺技術,研究人員開發出了一種令人驚嘆的AI技術,可以將照片轉換為手繪效
Thumbnail
Stable Diffusion 算圖時,有時算出來的人臉都像是被揍過一樣!這其實是解析度過小的問題,我們可以透過 img2img upscale 加 inpaint 的手法來解決,只需要兩階段,一起來看看怎麼做吧!
Thumbnail
Stable Diffusion 算圖時,有時算出來的人臉都像是被揍過一樣!這其實是解析度過小的問題,我們可以透過 img2img upscale 加 inpaint 的手法來解決,只需要兩階段,一起來看看怎麼做吧!
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
本心得介紹MultiDiffusion with Tiled VAE插件以及通用的提升效能設定。
Thumbnail
本心得介紹MultiDiffusion with Tiled VAE插件以及通用的提升效能設定。
Thumbnail
  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion時,常會遇到一個令我困擾的問題----紫色斑塊。
Thumbnail
  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion時,常會遇到一個令我困擾的問題----紫色斑塊。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
試著玩一下 stable diffusion,一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!
Thumbnail
試著玩一下 stable diffusion,一個 Ai 作畫的軟體~ 結果啥都畫不出來~ 哈哈哈!
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News