擴散模型(Diffusion Models)簡介

更新於 2024/12/07閱讀時間約 2 分鐘

擴散模型受非均衡熱力學啟發。非均衡熱力學定義了一個擴散步驟的馬可夫鏈,逐步向資料添加隨機資訊,然後學習如何逆轉擴散過程,從隨機資訊中建構所需的樣本資料。與變分自編碼器(VAE)或以流為基礎的模型不同,擴散模型是通過固定程序學習的,且其潛在變量具有高維度(與原始資料相同)。


幾種基於擴散模型的生成式模型已被提出,它們的基本理念相似,包括擴散機率模型(Sohl-Dickstein等人,2015年)、條件干擾分數網路(NCSN;Yang和Ermon,2019年),以及去噪擴散概率模型(DDPM;Ho等人,2020年)。四種生成模型的示意圖比較,從上到下分別是:生成對抗網路(GAN)、變分自編碼器(VAE)、流模型和擴散模型。


不同類型的生成模型

不同類型的生成模型

給定一個從真實數據分佈中取樣的數據點 x_0,讓我們定義一個前向擴散過程,在這個過程中,我們在 T 個步驟中向樣本添加少量高斯噪訊,產生一系列噪訊樣本 x_1,…,x_T​。步長由方差時間表 β_1,…,β_Tβ1​,…,βT​ 控制。

q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)q(xt​∣xt−1​)=N(xt​;1−βt​​xt−1​,βt​I)

隨著步驟 t 變大,數據樣本 x_0​ 逐漸失去其可辨識的特徵。最終當 t→T 時,x_T​ 等同於一個各向同性的高斯分佈。

avatar-img
0會員
31內容數
心繫正體中文的科學家,立志使用正體中文撰寫文章。 此沙龍預計涵蓋各項資訊科技知識分享與學習心得
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
風清揚的沙龍 的其他內容
深度學習是什麼? 簡單來說,深度學習是大型且多層的人工神經網路。我們可以想像神經網路("Neural Nnetwork, NN")是一種有向無環圖,此圖可拆分成三個部分來看: 1. 輸入層接收信號向量;2. 一個或多個隱藏層處理前一層的輸出; 3. 輸出層統合之前所有隱藏層的處理結果。神經網路的初
3GPP官方網站和工具 這些是獲取3GPP(第三代合作夥伴計劃)最新資訊的主要來源。對於研究人員和業界專業人士來說,3GPP官方資訊可供理解、實作和測試3GPP標準。另一方面,對於進行移動通訊研究的學者和學生來說,這些資源是深入了解最新技術標準和發展趨勢的重要途徑。
深度學習是什麼? 簡單來說,深度學習是大型且多層的人工神經網路。我們可以想像神經網路("Neural Nnetwork, NN")是一種有向無環圖,此圖可拆分成三個部分來看: 1. 輸入層接收信號向量;2. 一個或多個隱藏層處理前一層的輸出; 3. 輸出層統合之前所有隱藏層的處理結果。神經網路的初
3GPP官方網站和工具 這些是獲取3GPP(第三代合作夥伴計劃)最新資訊的主要來源。對於研究人員和業界專業人士來說,3GPP官方資訊可供理解、實作和測試3GPP標準。另一方面,對於進行移動通訊研究的學者和學生來說,這些資源是深入了解最新技術標準和發展趨勢的重要途徑。
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
到目前為止,我們所模擬的萬有引力,是一個物體吸引另一個物體,或者是一個物體吸引多個物體。然而,在真實世界中,每個物體都會互相吸引,所以在這一節中,就來把模擬的情境,擴展成多個物體互相吸引。
Thumbnail
模擬世界是我們寫程式造出來的,我們就是模擬世界的主宰,所以各種作用力要長什麼樣子、要怎麼個作用法,都由我們決定。不過,如果希望這些作用力看起來像真實世界的作用力一樣,那在寫程式的時候,套用這些作用力在真實世界中的物理公式,會是比較省時省力的做法。
Thumbnail
目录 一、量子传感器的基本原理是什么? 二、量子传感器与传统传感器的区别是什么? 三、量子态在量子传感器中的应用有哪些? 四、量子传感器的主要应用领域有哪些? 五、量子传感器在工业自动化中的应用有哪些? 内容: 一、量子传感器的基本原理是什么? 量子传感器的基本原理 量
到目前為止,為了簡化問題,我們都假設物體的質量是1。接下來,我們將移除這個假設,然後將完全符合牛頓第二運動定律的apply_force()方法,整合到Mover這個類別中。
並得知根源還有虛數空間理論。
前言 在閱讀網路文章時,有看到說1X1的卷積層能夠升維、降維,不了解所以然,故來查找。:P 正文 卷積核尺寸為1X1的卷積層能夠達到降低和增加輸出的維度,是因為它能夠改變輸入數據的通道數量(depth),而不改變其空間維度(height和width),原理如下。 1X1卷積在每個空間位置
Thumbnail
這一節談的是向量的定義,以及如何運用向量來建立模擬物體運動時,關於位置和速度間的關係式。
Thumbnail
冪次定律 呈現一條曲線,從左下方緩慢上升,然後迅速上升,強調了少數事件的極端值。這些極端值代表著相對較大的事件,其影響力遠遠超過了大多數事件。 馬太效應 由一個明顯的源頭開始,不斷分支出更多的線條,形成一個庞大的樹狀結構。這些分支中的一些可能變得更大,代表著成功的累積效應,符合馬太效應
Thumbnail
今天我們來說一下「結構方程模式:多學科期刊」,AKA Structural Equation Modeling: A Multidisciplinary Journal。這是由 Taylor & Francis 出版的期刊,每年發行 6 期。
Thumbnail
這篇要來分享關於「頻率」這件事,談到頻率,不免就要順便談談「吸引力法則」,現在訪間已經有多書籍、影片都有詳細描述吸引力法則的運行方式。它並不是什麼怪力亂神也不是什麼偽科學,實則吸引力法則是個再科學不過的量子力學,同頻相吸的概念而已。
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
到目前為止,我們所模擬的萬有引力,是一個物體吸引另一個物體,或者是一個物體吸引多個物體。然而,在真實世界中,每個物體都會互相吸引,所以在這一節中,就來把模擬的情境,擴展成多個物體互相吸引。
Thumbnail
模擬世界是我們寫程式造出來的,我們就是模擬世界的主宰,所以各種作用力要長什麼樣子、要怎麼個作用法,都由我們決定。不過,如果希望這些作用力看起來像真實世界的作用力一樣,那在寫程式的時候,套用這些作用力在真實世界中的物理公式,會是比較省時省力的做法。
Thumbnail
目录 一、量子传感器的基本原理是什么? 二、量子传感器与传统传感器的区别是什么? 三、量子态在量子传感器中的应用有哪些? 四、量子传感器的主要应用领域有哪些? 五、量子传感器在工业自动化中的应用有哪些? 内容: 一、量子传感器的基本原理是什么? 量子传感器的基本原理 量
到目前為止,為了簡化問題,我們都假設物體的質量是1。接下來,我們將移除這個假設,然後將完全符合牛頓第二運動定律的apply_force()方法,整合到Mover這個類別中。
並得知根源還有虛數空間理論。
前言 在閱讀網路文章時,有看到說1X1的卷積層能夠升維、降維,不了解所以然,故來查找。:P 正文 卷積核尺寸為1X1的卷積層能夠達到降低和增加輸出的維度,是因為它能夠改變輸入數據的通道數量(depth),而不改變其空間維度(height和width),原理如下。 1X1卷積在每個空間位置
Thumbnail
這一節談的是向量的定義,以及如何運用向量來建立模擬物體運動時,關於位置和速度間的關係式。
Thumbnail
冪次定律 呈現一條曲線,從左下方緩慢上升,然後迅速上升,強調了少數事件的極端值。這些極端值代表著相對較大的事件,其影響力遠遠超過了大多數事件。 馬太效應 由一個明顯的源頭開始,不斷分支出更多的線條,形成一個庞大的樹狀結構。這些分支中的一些可能變得更大,代表著成功的累積效應,符合馬太效應
Thumbnail
今天我們來說一下「結構方程模式:多學科期刊」,AKA Structural Equation Modeling: A Multidisciplinary Journal。這是由 Taylor & Francis 出版的期刊,每年發行 6 期。
Thumbnail
這篇要來分享關於「頻率」這件事,談到頻率,不免就要順便談談「吸引力法則」,現在訪間已經有多書籍、影片都有詳細描述吸引力法則的運行方式。它並不是什麼怪力亂神也不是什麼偽科學,實則吸引力法則是個再科學不過的量子力學,同頻相吸的概念而已。