影像轉譯演算法們以及他們的損失函式分解一覽圖。y-axis 是損失項的種類, x-axis 則是該損失項的係數,用來代表該損失項的相對重要性。
上圖為本文提到的影像轉譯演算法們以及他們的損失函式分解一覽圖。如果想知道更多關於影像轉譯演算法,請繼續閱讀。
在影像生成的領域中,其中一個富有挑戰的是影像對影像的轉譯(image to image translation) 問題。取決於問題的設計,需要兩組各自屬於不同領域(domains)的影像集作為輸入。這兩組影像集,根據轉譯的方向,可以分別稱為來源影像集,以及目標影像集。 影像轉譯是透過模型學習來源和目標影像集之間的映射關係,給定一個來源影像作為輸入,模型則生成一個符合目標領域分佈的影像。
提到生成影像的模型,在深度學習中快速獲得大眾歡迎的生成對抗網路(Generative Adversarial Network),簡稱為 GAN。架構上為兩個網路,一個是 Generator,另一個則是 Discriminator。兩個網路共同最佳化一個損失函示,只是最佳化的方向相反。
Outline:
Conditional GAN (cGAN)
Mode Collapse
Paired Image-to-Image
Unpaired image-to-image
Cycle Consistency
Attention-Guided Methods
Normalization