生成對抗網路 GAN (Generative Adversarial Network)

在利用深度學習的生成模型中，生成對抗網路 （Generative Adversarial Network, GAN）是研究應用方法最多的一種，許多人可能知道它是「讓兩個網路相互競爭來學習」的架構（如下圖所示）。但GAN也能夠適當地生成數據。

生成模型的目的

首先，讓我們來談談生成模型的目的是什麼？在識別模型中，有一個非常明確的目標，即預測值與實際值相符（實際上是找到適當分類數據的決策邊界），但在生成模型中，沒有「正確的輸出值」。那麼應該做什麼呢？答案是「找到接近數據的模型分佈」。也就是說，在生成模型中，基於「我們現在觀察到的數據應該是根據某種機率分佈生成的」這一想法，我們試圖對生成這些數據的機率分佈本身進行建模。因此，我們的目標是縮小數據分佈和模型分佈這兩個機率分佈之間的「距離」。以下，我們將對隨機變量 x 使用 pd(x) 表示數據分佈，pg(x) 表示模型分佈。

識別器建模

在 GAN 中，我們也想要尋找接近數據分佈的模型分佈，但是當我們考慮實際求解分佈 pd(x) 時，會遇到一些困難。這是因為分佈 pd(x) 的形式並沒有明確給出，所以我們不知道它的具體形狀。因此，我們無法直接計算相似性（藉此測量與數據分佈的接近程度）。因此，我們首先考慮數據分佈和模型分佈的密度比 r(x)，而不是直接測量相似性。

Reference

1. https://arxiv.org/abs/1406.2661