擴散模型受非均衡熱力學啟發。非均衡熱力學定義了一個擴散步驟的馬可夫鏈,逐步向資料添加隨機資訊,然後學習如何逆轉擴散過程,從隨機資訊中建構所需的樣本資料。與變分自編碼器(VAE)或以流為基礎的模型不同,擴散模型是通過固定程序學習的,且其潛在變量具有高維度(與原始資料相同)。
幾種基於擴散模型的生成式模型已被提出,它們的基本理念相似,包括擴散機率模型(Sohl-Dickstein等人,2015年)、條件干擾分數網路(NCSN;Yang和Ermon,2019年),以及去噪擴散概率模型(DDPM;Ho等人,2020年)。四種生成模型的示意圖比較,從上到下分別是:生成對抗網路(GAN)、變分自編碼器(VAE)、流模型和擴散模型。
給定一個從真實數據分佈中取樣的數據點 x_0,讓我們定義一個前向擴散過程,在這個過程中,我們在 T 個步驟中向樣本添加少量高斯噪訊,產生一系列噪訊樣本 x_1,…,x_T。步長由方差時間表 β_1,…,β_Tβ1,…,βT 控制。
q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)
隨著步驟 t 變大,數據樣本 x_0 逐漸失去其可辨識的特徵。最終當 t→T 時,x_T 等同於一個各向同性的高斯分佈。