[觀點] 人工智慧的回顧與展望 2019

給讀者的話：

這是十分鐘簡讀版，付費訂閱之後，便可閱讀本文更詳進的內容。

回顧 2018

1. 解釋深度學習和人工智慧 (Deep learning theory & Explainable AI)
2. 模型不確定性和遷移學習（Model uncertainly & Transfer learning)
3. 深度強化學習（Deep reinforcement learning）
4. 膠囊網路和機率程式架構（Capsule networks & Probabilistic programming）

電腦視覺

合成影像（Synthetic Data）

使用合成影像中，可以解決：

訓練資料的取樣誤差問題。誠如 PwC 2018 趨勢預測一文所述，類神經網路是對於訓練資料有強依賴性的演算法。透過合成影像，在物體偵測的任務中，可以建構擾動的環境燈光和低品質的訓練影像，進而縮小在真實世界中，因為環境和攝影器材的硬體限制，造成無法被模型解釋的隨機誤差。

除了上述問題外，合成影像亦可以達到像素層級的標注精準。像素層級的標注精準有助於目前發展的全景分割技術。

其次，則是配合 Merged Reality （MR） 應用發展出的 3D 合成影像。MR 是結合 Virtual Reality （VR）和擴增實境（Augmented Reality, AR） 兩種技術，而提出的新型應用，主要是希望藉由 AR 擴增使用者所處的真實環境，並讓使用者透過 VR 來經驗視覺探索。

除了仰賴合成資料，另外在 PwC 2018 趨勢預測一文中也指出，可以利用對抗生成網路（GAN）來產生和真實影像相近但帶有雜訊的影像。

對抗生成網路（GAN）

在過去一年中，GAN 不僅在架構上獲得改進，並結合其他技術來達成廣泛的應用。

最後，則是如 PwC 2018 趨勢預測一文指出，可以利用遷移學習來完成解決標注不足的問題。然而遷移學習的最大限制即是在於來源和目標領域（domain）的資料分布不可相差太遠，不然會產生 Domain Shift 的問題。

跨領域對映（Domain Adaptation）

關於 Domain Shift 問題，解決方案則是試著找到來源和目標領域的映射關係，稱為 Domain Adaptation 的研究。

接下來，我們要把注意力轉至自然語言領域中，雖然是全然不同的資料型態，但我們可以發現和電腦視覺相似的趨勢也可在自然語言領域中發覺。

自然語言

無全監督學習（Not Supervised Learning）

在半監督學習（semi-supervised）的方法中，主要是利用已標注的訓練資料來學習未標注的訓練資料。另外一個趨勢則是利用應用於多任務（multi-tasking）學習中的 meta-learning 來解決。

表徵學習（Representation Learning）

在過去一年，令人側目的則是 contextualized-based word embedding 的發展，包括了 ELMo, ULMFiT 和 google 的 BERT。

歸納偏見（Inductive bias）

Inductive bias 是藉由先驗知識或普通常識來對模型做額外的假設，增加對未曾見過的測試例子的準確度，並能使用更少的實例來做訓練。常見的引入 inductive bias 是藉由多任務訓練，來迫使演算法偏好找尋能同時解釋多個任務的模型參數。

最後，為了改善 Attention 機制，也可引入 Inductive bias。

展望 2019

Automate Data Science & AutoML

電腦程式是關於如何自動化，而機械學習則是關於如何自動自動化。（“computer programming is about automation, and machine learning is "all about automating automation.”）

註釋：

延伸閱讀：

1. KDNuggets “The Data Science Process, Rediscovered” （英）： 2016 年的文章主要定義不同的資料科學流程。
2. KDNuggets ”Building AI to Build AI: The Project That Won the NeurIPS AutoML Challenge“ （英）： 由 2018 年 NeurIPs AutoML 競賽中獲獎的隊伍，Flytxt ，提到目前 AutoML 所面臨的挑戰和困難。