NVIDIA 研究團隊於 2018 年 12 月推出 StyleGAN,一種基於風格控制的生成式對抗網路(GAN)。
特色:
·產生高品質且真實的圖像。
·更好的可控性,使圖像生成更加靈活與精準。
·風格轉移(Style Transfer)概念,改善生成圖像的真實感。
技術/架構簡介:
·風格控制(Style Control):透過修改隱向量(latent variables)來控制圖像風格,如: 人臉姿勢、身份特徵等。
·自我調整實例歸一化模塊(AdaIN, Adaptive Instance Normalization):使網路能在不同層次自動適應不同風格,提升圖像品質與控制力。
·映射網路(Mapping Network):對ProGAN生成器的補強,將原始隱向量 z 映射為風格隱向量 w,w 控制合成網路中的仿射轉換,進而調整風格與細節(如:雀斑、皺紋等)。
·合成網路(Synthesis Network): 根據風格隱向量 w 與隨機雜訊生成圖像;每一卷積層都根據風格與雜訊(噪聲,隨機向量)動態調整輸出。
訓練策略:
·漸進式成長訓練策略:承襲自 ProGAN(Progressive Growing of GANs),從低解析度開始訓練生成器和鑑別器,逐步提升解析度與圖像品質。
·混雜正則化(Mixing Regularization):在訓練過程中混合多組風格隱向量,以提高模型泛化能力與生成圖像的多樣性。