紫斑塊 vs VAE - Stable Diffusion
閱讀時間約 3 分鐘
此經驗分享使用Automatic1111 WebUI。
網上沒人在談的問題
可能是這個問題太過基本，所以網路上幾乎沒有人在提問或回答，但我一開始嘗試Stable Diffusion（下以SD略稱）時，時常會遇到一個令我困擾的問題：
紫色斑塊
而嘗試了多種運算模組（checkpoint models）後，發現不是所有的模組都有這個問題，而且有這個問題的模組，多少是互相混和衍生出來的模組，例如《sweetMix》、《abyssOrangeMix》、《anypastelAnything》、《saluteMix》。
SD的作業通常是由小圖到大圖，而512x512解析度以下的圖片，紫色斑塊非常不明顯。通常要到1024以上才會開始醒目。
就是太醒目了。
這時就輪到VAE登場了。
VAE的相關設定位置如下，需在圖中紅框的「SD VAE」欄位選擇想使用的VAE，選好後請記得點擊橘色的「Apply settings」：
VAE的「計算機式」定義我不知道，不過實際使用方式和「圖像後製」差不多，在算圖後調整色相、飽和度、對比度。
VAE不是專門針對紫色斑塊的，只是其效果剛好能處理紫色斑塊，請參考下圖：
kl-f8-anime2請由此下載（405MB）
VAE的副檔名目前我知道的有.ckpt和.vae.pt兩種，下載後都請放在StableDiff\webui\models\VAE\資料夾。
anything-v4.0請由此下載（823MB）
blessed2請由此下載（335MB）
嚴格來說紫色斑塊沒有消失，但基本上人眼不會發現。
上面的範例圖為了讓他們約會而打光偏暗，所以三種VAE的差別不太明顯，下面的範例圖就很明顯了：
kl-f8-anime2非常會凸顯細節，例如後方樹籬笆。
anything-v4.0和blessed2頗相似，但anything略淡，blessed2略鮮艷。
實際上VAE除了影響色相、飽和度、對比度，還有微調運算的功能。
因此VAE是會影響畫風的。
所以不會出現紫色斑塊的模組，VAE就是隨自己需求使用，例如下面chilloutMix模組運算的範例圖：
原本用在動漫風的圖時，kl-f8會比原圖鮮豔，其他兩者則較接近原圖。但用在偏寫實的chilloutMix上時，卻是kl-f8更接近原圖飽和度和對比度，其他兩者反而變得比原圖淡。
就各取所好囉。
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
本文將延續上一篇文章，經由訓練好的VAE模型其中的解碼器，來生成圖片。
[深度學習]訓練VAE模型用於生成圖片_訓練篇
輸入產生的隨機雜訊，輸入VAE的解碼器後，生成的圖片
本文主要介紹，如何利用VAE變分自編碼器來訓練生成圖片。
訓練集資料將採用TF影像資料庫中的fashion_mnist
VAE變分自編碼器簡單介紹
•VAE(Variational Auto-Encoder)中文名稱變分自編碼器，主要是一種將原始資料編碼到潛在向量空間，再編碼回來的神經網路。
最近在嘗試使用不同的AI生圖方式混合出圖的方式，採用A平台的優點，並用B平台後製的手法截長補短，創造出自己更想要的小說場景，效果不錯，現在以這張圖為例，來講一下我的製作步驟。
VQGAN是一種基於GAN(生成對抗式網路)的生成式模型，可以創造新的、逼真的圖像或修改已有圖像。本論文介紹了改進VQGAN用於StableDiffusion中的新方法架構，並提出了一種新的非對稱式VQGAN，具有更強的解碼器和兩個設計條件解碼器。論文下方另附相關資料連結。
生成式AI工具即將邁入三年，除了ChatGPT以外，也進化了許多GenAI工具，如Sora影片生成等。
你知道Stable Diffusion嗎？
從詠唱魔法師Prompts的玩家或職務，AI浪潮持續推進下，SD-WebUI並沒有停滯或被淘汰。
結果告訴了我們一件事情...
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具，讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹：
功能和優點
自動化視頻轉換：
Mov2Mov 可以自動化視頻到
本文介紹了在深度學習中使用Batch Normalization來解決error surface複雜性的問題。通過特徵歸一化來加速收斂速度和訓練順利程度。同時，也提到了在測試階段使用moving average計算平均值和標準差的方法。
這篇要介紹AI生成影片的兩個方式：SVD 跟 AnimateDiff。
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
本文將延續上一篇文章，經由訓練好的VAE模型其中的解碼器，來生成圖片。
[深度學習]訓練VAE模型用於生成圖片_訓練篇
輸入產生的隨機雜訊，輸入VAE的解碼器後，生成的圖片
本文主要介紹，如何利用VAE變分自編碼器來訓練生成圖片。
訓練集資料將採用TF影像資料庫中的fashion_mnist
VAE變分自編碼器簡單介紹
•VAE(Variational Auto-Encoder)中文名稱變分自編碼器，主要是一種將原始資料編碼到潛在向量空間，再編碼回來的神經網路。
最近在嘗試使用不同的AI生圖方式混合出圖的方式，採用A平台的優點，並用B平台後製的手法截長補短，創造出自己更想要的小說場景，效果不錯，現在以這張圖為例，來講一下我的製作步驟。
VQGAN是一種基於GAN(生成對抗式網路)的生成式模型，可以創造新的、逼真的圖像或修改已有圖像。本論文介紹了改進VQGAN用於StableDiffusion中的新方法架構，並提出了一種新的非對稱式VQGAN，具有更強的解碼器和兩個設計條件解碼器。論文下方另附相關資料連結。
生成式AI工具即將邁入三年，除了ChatGPT以外，也進化了許多GenAI工具，如Sora影片生成等。
你知道Stable Diffusion嗎？
從詠唱魔法師Prompts的玩家或職務，AI浪潮持續推進下，SD-WebUI並沒有停滯或被淘汰。
結果告訴了我們一件事情...
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具，讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹：
功能和優點
自動化視頻轉換：
Mov2Mov 可以自動化視頻到
本文介紹了在深度學習中使用Batch Normalization來解決error surface複雜性的問題。通過特徵歸一化來加速收斂速度和訓練順利程度。同時，也提到了在測試階段使用moving average計算平均值和標準差的方法。
這篇要介紹AI生成影片的兩個方式：SVD 跟 AnimateDiff。
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。