紫斑塊 vs VAE - Stable Diffusion

閱讀時間約 3 分鐘
此經驗分享使用Automatic1111 WebUI。

網上沒人在談的問題

  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion(下以SD略稱)時,時常會遇到一個令我困擾的問題:
紫色斑塊
好紫啊。
  而嘗試了多種運算模組(checkpoint models)後,發現不是所有的模組都有這個問題,而且有這個問題的模組,多少是互相混和衍生出來的模組,例如《sweetMix》、《abyssOrangeMix》、《anypastelAnything》、《saluteMix》。
  SD的作業通常是由小圖到大圖,而512x512解析度以下的圖片,紫色斑塊非常不明顯。通常要到1024以上才會開始醒目。
  就是太醒目了。

這時就輪到VAE登場了。

  VAE的相關設定位置如下,需在圖中紅框的「SD VAE」欄位選擇想使用的VAE,選好後請記得點擊橘色的「Apply settings」:
VAE設定的位置
  VAE的「計算機式」定義我不知道,不過實際使用方式和「圖像後製」差不多,在算圖後調整色相、飽和度、對比度
  VAE不是專門針對紫色斑塊的,只是其效果剛好能處理紫色斑塊,請參考下圖:
下方是三種VAE的1024版本,可和第一張用紅圈標示紫色斑塊的無VAE圖對照。

kl-f8-anime2請由此下載(405MB)

  VAE的副檔名目前我知道的有.ckpt和.vae.pt兩種,下載後都請放在StableDiff\webui\models\VAE\資料夾。
kl-f8-anime2

anything-v4.0請由此下載(823MB)

anything-v4.0

blessed2請由此下載(335MB)

blessed2

嚴格來說紫色斑塊沒有消失,但基本上人眼不會發現。

  上面的範例圖為了讓他們約會而打光偏暗,所以三種VAE的差別不太明顯,下面的範例圖就很明顯了:
原512x512
將原圖放大的1024x1024版本,無VAE,可以見到多處紫色斑塊,且顏色變淡。
使用kl-f8-anime2放大。

  kl-f8-anime2非常會凸顯細節,例如後方樹籬笆。

anything-v4.0
blessed2

  anything-v4.0和blessed2頗相似,但anything略淡,blessed2略鮮艷。

  實際上VAE除了影響色相、飽和度、對比度,還有微調運算的功能

因此VAE是會影響畫風的。

  所以不會出現紫色斑塊的模組,VAE就是隨自己需求使用,例如下面chilloutMix模組運算的範例圖:
無VAE
kl-f8-anime2 凸顯了服飾金色花紋的立體感。
anything-v4.0
blessed2
  原本用在動漫風的圖時,kl-f8會比原圖鮮豔,其他兩者則較接近原圖。但用在偏寫實的chilloutMix上時,卻是kl-f8更接近原圖飽和度和對比度,其他兩者反而變得比原圖淡。
  就各取所好囉。
即將進入廣告,捲動後可繼續閱讀
為什麼會看到廣告
avatar-img
82會員
106內容數
筆者探索各種感興趣事物的紀錄,以及分享非主流資訊的場所。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
黑米BR的沙龍 的其他內容
Textual Inversion embedding   玩過Stable Diffusion(下以SD略稱之),並且有前往CIVITAI等網站下載其他人訓練的AI模型的玩家......
本教學使用Automatic 1111介面   AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。
先說結論:   演算Img2Img時,Sampling Methods(取樣方法)中Karras類型比較忠於原圖,非Karras類型比較放飛自我。
  最近玩了個台灣製的遊戲,內容不多,玩了三小時就進入「片尾曲」。   這時我突發奇想,擷取一張截圖,然後用這張圖跑Stable Diffusion的Img2Img(以圖算圖)。   因為非業配,沒有取得原圖授權,所以原圖我就不貼了,但有看過結局的人,一定能從下面幾張圖猜出原圖出處: +Prompt
  2023/Apr/8 補充更新 - 想訓練AI模型的人,建議正常安裝Python和Git,理由如下:
ChatGPT創作大賽投稿的短篇推理懸疑故事,見證了ChatGPT的無厘頭...
Textual Inversion embedding   玩過Stable Diffusion(下以SD略稱之),並且有前往CIVITAI等網站下載其他人訓練的AI模型的玩家......
本教學使用Automatic 1111介面   AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。
先說結論:   演算Img2Img時,Sampling Methods(取樣方法)中Karras類型比較忠於原圖,非Karras類型比較放飛自我。
  最近玩了個台灣製的遊戲,內容不多,玩了三小時就進入「片尾曲」。   這時我突發奇想,擷取一張截圖,然後用這張圖跑Stable Diffusion的Img2Img(以圖算圖)。   因為非業配,沒有取得原圖授權,所以原圖我就不貼了,但有看過結局的人,一定能從下面幾張圖猜出原圖出處: +Prompt
  2023/Apr/8 補充更新 - 想訓練AI模型的人,建議正常安裝Python和Git,理由如下:
ChatGPT創作大賽投稿的短篇推理懸疑故事,見證了ChatGPT的無厘頭...
你可能也想看
Google News 追蹤
Thumbnail
Hi 我是 VK~ 在 8 月底寫完〈探索 AI 時代的知識革命:NotebookLM 如何顛覆學習和創作流程?〉後,有機會在 INSIDE POSSIBE 分享兩次「和 NotebookLM 協作如何改變我學習和創作」的主題,剛好最近也有在許多地方聊到關於 NotebookLM 等 AI 工具
Thumbnail
國泰CUBE App 整合外幣換匯、基金、證券等服務,提供簡便、低成本的美股定期定額投資解決方案。 5分鐘開戶、低投資門檻,幫助新手輕鬆進軍國際股市;提供人氣排行榜,讓投資人能夠掌握市場趨勢。
Thumbnail
這是張老師的第三本書,我想前二本應該也有很多朋友們都有讀過,我想絕對是受益良多,而這次在書名上就直接點出,著重在從投資的角度來切入
Thumbnail
這篇文章介紹了對宋代鈞窯的研究,並描述了窯工的工藝技術和窯燒過程。透過分相釉的應用,鈞窯具有「入窯一色,出窯萬彩」的驚喜感。同時,文章也分享了一些對於這件出土鈞窯盤的猜想和分析。
Thumbnail
🐷溫故知新一下,這是台灣豬場偶爾會遇到的遺傳性疾病。 👉血小板缺乏紫斑症 (Thrombocytopaenic purpura) 👉臨床症狀:皮膚多處紅紫色斑點或斑塊。 👉特徵:不會傳染、新生仔豬喝到母乳後開始出現症狀、發生率不高但死亡率高。 👉病因:母乳中有異
關於這篇是提供給"紫斑症"或"血小板低下"病友參考,自體免疫疾病 學名是,特發性血小板減少性紫斑(idiopathic thrombocytopenia purpura,ITP) 病患本身的免疫系統會去消滅體內的血小板,造成類似血友病的情形。 罹患血小板低下已經10個年頭,所以把經驗分享出來。
Thumbnail
它不僅好養,而且開花量特別多,耐寒又耐熱,種一次就能年年開花,它就是紫斑風鈴草(Campanula punctata), 看看養護方法與注意事項吧。
Thumbnail
十一月五日 薄冷溪寒雲籠茂林 情人谷溫泉眾集聚 捨離 往烏巴克藝術空間 紫斑蝶在那盼等我
Thumbnail
你也有不管怎麼努力,最後還是徒勞無功的時刻嗎? 就算你怎麼努力唸書,最後成績還是一塌糊塗, 就算你怎麼付出,對方最後還是劈腿離開, 就算你怎麼吃藥治療,身體狀況還是越來越爛, 好像你所祈求的一切都離你越來越遠, 最後你開始想—— 「是不是不要有期待,就不會有失落了呢?」
Thumbnail
我們其實都在不同的時區裡,上帝給予我們每一個人不同的藍圖,我們在自己的時區裡,都有自己的步伐,而那些嘲笑不在自己時區的人,也只是代表某些時區比較多人跟隨不代表是你唯一要被遵守的規則。 我相信,將每一步都仔細思量過,並讓每一步都紮實踏下的你,一切都準時了。
Thumbnail
我記得剛開始吃類固醇變胖時,我會刻意遮掩肥胖紋,夏天還硬要穿著薄外套出門,但是類固醇又會讓身體非常燥熱,所以到最後外套都是一整片的汗,我還會把不合身的衣服硬套進身體,試著感覺自己「還是瘦的」。
Thumbnail
13歲第一次住院後的回憶已不像前幾篇文章清晰,躺在病床看著醫院天花版的茫然、在教室裡跟不上進度看著黑板無助、睡覺時感受皮膚被撐開的痛苦⋯⋯所有都混亂著。
Thumbnail
Hi 我是 VK~ 在 8 月底寫完〈探索 AI 時代的知識革命:NotebookLM 如何顛覆學習和創作流程?〉後,有機會在 INSIDE POSSIBE 分享兩次「和 NotebookLM 協作如何改變我學習和創作」的主題,剛好最近也有在許多地方聊到關於 NotebookLM 等 AI 工具
Thumbnail
國泰CUBE App 整合外幣換匯、基金、證券等服務,提供簡便、低成本的美股定期定額投資解決方案。 5分鐘開戶、低投資門檻,幫助新手輕鬆進軍國際股市;提供人氣排行榜,讓投資人能夠掌握市場趨勢。
Thumbnail
這是張老師的第三本書,我想前二本應該也有很多朋友們都有讀過,我想絕對是受益良多,而這次在書名上就直接點出,著重在從投資的角度來切入
Thumbnail
這篇文章介紹了對宋代鈞窯的研究,並描述了窯工的工藝技術和窯燒過程。透過分相釉的應用,鈞窯具有「入窯一色,出窯萬彩」的驚喜感。同時,文章也分享了一些對於這件出土鈞窯盤的猜想和分析。
Thumbnail
🐷溫故知新一下,這是台灣豬場偶爾會遇到的遺傳性疾病。 👉血小板缺乏紫斑症 (Thrombocytopaenic purpura) 👉臨床症狀:皮膚多處紅紫色斑點或斑塊。 👉特徵:不會傳染、新生仔豬喝到母乳後開始出現症狀、發生率不高但死亡率高。 👉病因:母乳中有異
關於這篇是提供給"紫斑症"或"血小板低下"病友參考,自體免疫疾病 學名是,特發性血小板減少性紫斑(idiopathic thrombocytopenia purpura,ITP) 病患本身的免疫系統會去消滅體內的血小板,造成類似血友病的情形。 罹患血小板低下已經10個年頭,所以把經驗分享出來。
Thumbnail
它不僅好養,而且開花量特別多,耐寒又耐熱,種一次就能年年開花,它就是紫斑風鈴草(Campanula punctata), 看看養護方法與注意事項吧。
Thumbnail
十一月五日 薄冷溪寒雲籠茂林 情人谷溫泉眾集聚 捨離 往烏巴克藝術空間 紫斑蝶在那盼等我
Thumbnail
你也有不管怎麼努力,最後還是徒勞無功的時刻嗎? 就算你怎麼努力唸書,最後成績還是一塌糊塗, 就算你怎麼付出,對方最後還是劈腿離開, 就算你怎麼吃藥治療,身體狀況還是越來越爛, 好像你所祈求的一切都離你越來越遠, 最後你開始想—— 「是不是不要有期待,就不會有失落了呢?」
Thumbnail
我們其實都在不同的時區裡,上帝給予我們每一個人不同的藍圖,我們在自己的時區裡,都有自己的步伐,而那些嘲笑不在自己時區的人,也只是代表某些時區比較多人跟隨不代表是你唯一要被遵守的規則。 我相信,將每一步都仔細思量過,並讓每一步都紮實踏下的你,一切都準時了。
Thumbnail
我記得剛開始吃類固醇變胖時,我會刻意遮掩肥胖紋,夏天還硬要穿著薄外套出門,但是類固醇又會讓身體非常燥熱,所以到最後外套都是一整片的汗,我還會把不合身的衣服硬套進身體,試著感覺自己「還是瘦的」。
Thumbnail
13歲第一次住院後的回憶已不像前幾篇文章清晰,躺在病床看著醫院天花版的茫然、在教室裡跟不上進度看著黑板無助、睡覺時感受皮膚被撐開的痛苦⋯⋯所有都混亂著。