付費限定
對抗擴散生成蒸餾(ADD) 讓生成模型快又有效
閱讀時間約 4 分鐘
Stability AI在圖片/影片/聲音生成領域貢獻了不少心力，近期提出了更加高效率的對抗生成蒸餾方法，只需進行一步計算，便能打敗LCM需要4步計算的結果，來看看具體是如何做到的。
開發動機:
擴散模型近年來取得很優異的高畫質圖片生成結果，但是需要多步驟迭代，導致運算速度無法達到Real time 生成，Luo et al. 基於Latent做一致性模型蒸餾+CFG手法，取得很優異的生成畫質與生成速度，激發了本篇作者們加以挑戰突破的原動力。
改良思路與影響:
- 利用GAN模型蒸餾，將學生模型的生成迭代次數降低成1次 (快速生成)
- 從老師擴散模型的Weight當作起始點，進行GAN蒸餾訓練
- 針對圖片本身做對抗生成訓練，而非Latent (訓練時梯度比較穩定)
- 沒有使用CFG(Class free guidance)方式進行蒸餾
- 沒有使用CM(Consistency model)方式進行蒸餾
論文取得成果:
使用人類進行二元偏好對抗投票，可以看到ADD-XL單步可以達到其他擴散模型迭代好幾步才能得到的成果，也比StyleGAN的效果還要好。
使用人類進行二元偏好對抗投票，可以看到ADD-XL四步迭代可以達到SOTA的結果，甚至能勝過頂尖擴散模型50次迭代的結果。
以行動支持創作者！付費即可解鎖
本篇內容共 1831 字、0
則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
95會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
留言0
查看全部
你可能也想看
Google News 追蹤
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在某些情況下，別人提供的 Pretrained Transformer Model 效果不盡人意，可能會想要自己做 Pretrained Model，但是這會耗費大量運
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧我們在 AI說書 - 從0開始 - 110，介紹了 BLEU 使用方法與公式，現在我們再跑一個例子：
#Example 3
reference = [['the
呈上篇介紹如何訓練模型，此篇就主要介紹如何利用訓練好的模型來生成圖片
[深度學習][Python]DCGAN訓練生成手寫阿拉伯數字_生成篇
生成的結果
生成的圖片大小會根據，當初設置的生成器輸出大小來決定，當你使用生成對抗網絡（GAN）生成圖像時，生成器模型的最後一層通常會決定生成圖
本文將延續上一篇文章，經由訓練好的GAN模型中的生成器來生成圖片
[深度學習][Python]訓練MLP的GAN模型來生成圖片_訓練篇
[深度學習][Python]訓練CNN的GAN模型來生成圖片_訓練篇
相較之下CNN的GAN生成的效果比較好，但模型也相對比較複雜，訓練時間花的也比較
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
VQGAN是一種基於GAN(生成對抗式網路)的生成式模型，可以創造新的、逼真的圖像或修改已有圖像。本論文介紹了改進VQGAN用於StableDiffusion中的新方法架構，並提出了一種新的非對稱式VQGAN，具有更強的解碼器和兩個設計條件解碼器。論文下方另附相關資料連結。
DDPM是最近備受矚目的影像生成模型，本文探討了DDPM中的擴散與降噪過程，以及訓練和採樣演算法。透過高斯分佈的噪音添加和去除，DDPM能夠生成無條件CIFAR10數據集和256x256的LSUN數據集上高質量的樣本圖片。詳細瞭解DDPM的模型架構和訓練原理，請閱讀完整文章。
這篇文章探討了生成式對抗網路中機率分佈的使用與相關的訓練方式，包括Generator不同的點、Distriminator的訓練過程、生成圖片的條件設定等。此外，也提到了GAN訓練的困難與解決方式以及不同的learning方式。文章內容豐富且詳細，涵蓋了GAN的各個相關面向。
現AI時代我們常見的生成影像是如何製作出來的，或許你已經開始熟悉AI“假臉”的風格。但由于現在網路上大量流傳的多數是以DALL-E或是Stable Diffiusion+幾個特定的LoRA所生成的結果。以至於人們越來越有識別真假照片的能力。但或許你不知道的是，早在幾年前純粹用GAN生成技術所產出的人
這篇要介紹AI生成影片的兩個方式：SVD 跟 AnimateDiff。
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在某些情況下，別人提供的 Pretrained Transformer Model 效果不盡人意，可能會想要自己做 Pretrained Model，但是這會耗費大量運
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧我們在 AI說書 - 從0開始 - 110，介紹了 BLEU 使用方法與公式，現在我們再跑一個例子：
#Example 3
reference = [['the
呈上篇介紹如何訓練模型，此篇就主要介紹如何利用訓練好的模型來生成圖片
[深度學習][Python]DCGAN訓練生成手寫阿拉伯數字_生成篇
生成的結果
生成的圖片大小會根據，當初設置的生成器輸出大小來決定，當你使用生成對抗網絡（GAN）生成圖像時，生成器模型的最後一層通常會決定生成圖
本文將延續上一篇文章，經由訓練好的GAN模型中的生成器來生成圖片
[深度學習][Python]訓練MLP的GAN模型來生成圖片_訓練篇
[深度學習][Python]訓練CNN的GAN模型來生成圖片_訓練篇
相較之下CNN的GAN生成的效果比較好，但模型也相對比較複雜，訓練時間花的也比較
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
VQGAN是一種基於GAN(生成對抗式網路)的生成式模型，可以創造新的、逼真的圖像或修改已有圖像。本論文介紹了改進VQGAN用於StableDiffusion中的新方法架構，並提出了一種新的非對稱式VQGAN，具有更強的解碼器和兩個設計條件解碼器。論文下方另附相關資料連結。
DDPM是最近備受矚目的影像生成模型，本文探討了DDPM中的擴散與降噪過程，以及訓練和採樣演算法。透過高斯分佈的噪音添加和去除，DDPM能夠生成無條件CIFAR10數據集和256x256的LSUN數據集上高質量的樣本圖片。詳細瞭解DDPM的模型架構和訓練原理，請閱讀完整文章。
這篇文章探討了生成式對抗網路中機率分佈的使用與相關的訓練方式，包括Generator不同的點、Distriminator的訓練過程、生成圖片的條件設定等。此外，也提到了GAN訓練的困難與解決方式以及不同的learning方式。文章內容豐富且詳細，涵蓋了GAN的各個相關面向。
現AI時代我們常見的生成影像是如何製作出來的，或許你已經開始熟悉AI“假臉”的風格。但由于現在網路上大量流傳的多數是以DALL-E或是Stable Diffiusion+幾個特定的LoRA所生成的結果。以至於人們越來越有識別真假照片的能力。但或許你不知道的是，早在幾年前純粹用GAN生成技術所產出的人
這篇要介紹AI生成影片的兩個方式：SVD 跟 AnimateDiff。