擴散模型(Diffusion Models)簡介

擴散模型受非均衡熱力學啟發。非均衡熱力學定義了一個擴散步驟的馬可夫鏈，逐步向資料添加隨機資訊，然後學習如何逆轉擴散過程，從隨機資訊中建構所需的樣本資料。與變分自編碼器（VAE）或以流為基礎的模型不同，擴散模型是通過固定程序學習的，且其潛在變量具有高維度（與原始資料相同）。

不同類型的生成模型

給定一個從真實數據分佈中取樣的數據點 x_0，讓我們定義一個前向擴散過程，在這個過程中，我們在 T 個步驟中向樣本添加少量高斯噪訊，產生一系列噪訊樣本 x_1,…,x_T​。步長由方差時間表 β_1,…,β_Tβ1​,…,βT​ 控制。

q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)q(xt​∣xt−1​)=N(xt​;1−βt​​xt−1​,βt​I)

隨著步驟 t 變大，數據樣本 x_0​ 逐漸失去其可辨識的特徵。最終當 t→T 時，x_T​ 等同於一個各向同性的高斯分佈。