[探索] 門外漢的類神經機械翻譯導覽

機械翻譯的發展里程碑

1. 以語言學規則為主（Rule-based）：和許多機械學習的領域起源相似，在一開始發展時，受限於訓練資料的不易取得，多半是以語言學研究中所歸納出的語言規則作為翻譯的準則。這些規則包括了語法結構和文法規則。也和許多領域相似，規則為主的學習多遭遇規則僵硬的問題，無法將語言學中的規則適用於所有訓練例子。
2. 以資料驅動為主（Data-driven）：在網路時代，訓練資料變得大量且容易取得，於是以統計方法為基礎，藉由資料驅動的機械學習成為了機械翻譯的主流。在這個階段，不同長度的翻譯，或所謂的 phrase-based translation 在此系統中也可達成。該演算法的訓練目標為建構一語言模型，使給定來源語言句子，在此模型的評估下，給定來源語言句子，擁有最大似然機率（maximum likelihood）的目標語言句子。這個方法則受限於某些語言或語詞的範例稀少，以致於仍需要語言學的專業知識來做選取或設計特徵。
3. 以類神經網路為主（Neural-based）：類神經網路則是資料驅動的分支，與資料驅動方法不同的是，類神經網路本身可以作為學習特徵的系統，無需語言學家的專業知識或手動設計便可獲得極佳品質的翻譯結果。

類神經網路機械翻譯簡介

1. Sequence to Sequence
2. Attention Mechanism
3. Beam Search

Sequence to Sequence

1. Sutskerever 機械翻譯模型
2. Cho 機械翻譯模型

Attention Mechanism

1. Bahdanau Attention：在 2015 年由 MILA 實驗室所發展，
2. Luong Attention：在 2015 年由史坦佛大學的 NLP group 提出。

Beam Search

如何建立一個類神經網路機械翻譯系統流程

1. 訓練資料的取得
2. 模型的建構
3. 參數調整

訓練資料的取得

1. 這些資料集多半是針對某專業領域或對較為正式用語而成的翻譯，如 WMT 資料集中主要使用的是新聞，而 IWSLT 除了 TED 和 TEDx 的演講，更有針對生醫文件的領域所產生的資料集。若要應用在如對話機器人場景，多半會失去如生活用語的親切語氣。
2. 競賽中可能不涵有欲建立的來源語言和目標語言標準。在訓練這樣的模型，又希望能和目前頂尖的學術模型進行比較，可以使用第三種語言（通常為英文）作為參考語言，來估算出來源語言和目標語言之間的差距的最大極限值。而一個最大極限值計算的方法可以由參考語言和來源語言的表現，加上參考語言和目標語言的表現求得，但前提是翻譯表現的量度必須符合三角不等式定理。

模型的建構

參數調整

1. 字彙的連續表示複雜度：包括了，字詞向量的長度（Word Embedding Dimensionality）
2. 循環網路的架構：包括了，使用何者循環記憶體單元（Rnn Cell Variant），用幾層的深度來增加編碼器和解碼器學習複雜特徵的能力（Encoder and Decoder Depth），編碼器的方向性（Bidirectional or Unidirectional encoder），
3. Attention 模組的引入：包括了 Attention 的向量長度（Attention Dimensionality），和種類（Attention Type）
4. 使用 Beam Search 來產生目標語言序列：包括了 Beam Width 和 Length normalization Penalty。

1. 論文的 4.1 節調查來源語言和目標語言的單詞向量長度（Source embedding and Target embedding）的影響：來源和目標語言的單詞向量使用相同的長度，一般而言，單詞向量長度是愈大愈能得到較佳的表現，直到模型本身的複雜度超過資料的變異，也就是所謂的過度擬合（over-fitting）問題。
2. 在論文的 4.2 節調查循環網路單元的架構的影響（RNN Cell Variants）：在論文中，比較了較為複雜的 LSTM 記憶單元，和簡化 LSTM 的 GRU 記憶單元。另外，為了檢視解碼器（decoder）是否不需要具有閘門的記憶單元，而只憑 Attention 機制便可學習到最佳的翻譯對其位置，另外又設計了一個不具有閘門機制的 RNN 單元所構成的基本解碼器（Vallina-Decoder）。
3. 在論文的 4.3 節調查編碼器和解碼器的深度的影響：編碼器和解碼器的深度會影響單詞的表示，在此節中，作者並應用影像中所使用的 Residual block 的 skip connection 來解決深層網路，梯度消失和不易訓練的問題。
4. 在論文的 4.4 節調查使用單向或雙向編碼器的影響：雙向編碼器較不易平行化，但可以捕捉序列兩個方向的相依關係。同時，作者也利用單向編碼器，但反轉來源語言的句子序列，企圖達到雙向編碼器的同等效果。
5. 在論文的 4.5 節調查 Attention 機制的影響：在這節中，作者們選用不同的 Attention 實作方式並調整 Attention 的參數大小，此參數大小在論文中被稱為 Attention 維度，同時也比較不具有 Attention 機制的模型。
6. 在論文的 4.6 節調查 Beam Search 參數的影響：除了 Beam Search 的 Beam Width 參數，更調整 Length Normalization Penalty 參數對計算編碼器的輸出序列產生機率影響。

參數調整對模型表現差異較大：

1. 循環網路單元的架構使用 LSTM 可得到最佳結果，且訓練時間不會與 GRU 相差太遠。另外，解碼器不能光靠 Attention 機制來獲得最佳結果，必須仰賴具有閘門機制的循環網路單元。
2. 模型有無 Attention 機制對於模型表現影響極大，但選擇何種 Attention 機制的差異不大（Bahdanau Attention 表現稍微較 Luong Attention 佳）。
3. Beam search 的 Beam Width 參數選取 5 - 10，可以得到最佳結果。但若 Beam Width 選取過大，則會造成模型表現下降。

參數調整對模型表現差異不大：

1. 單詞向量長度使用小一點的數值（如：128 ），訓練時間是將近最大向量長度（如：2048）的一半，且兩者表現只有些微差距。然而，在論文中作者也指出，在擁有如此大量的參數模型（參數量為 187.09 M 當單詞向量長度為 2048）模型的訓練並未出現過度擬合（over-fitting），表示他們的實驗中，擁有最大向量長度的模型其損失值或許並未收斂。
2. 深度對編碼和解碼器的影響不高，即使加上了 Residual block 也難以訓練。作者們建議編碼和編碼器使用兩或四層，若要在深層網路訓練快速收斂，則可加上在影像中使用的 Residual block 變異 - Dense Residual Skip Connection。
3. 雙向編碼器較反轉來源語言的單向編碼器為佳，而單向編碼器的表現雖然是最差，但與其他兩種方法差距不遠。
4. Length Normalization Penalty 對模型表現有影響，但影響不大。

類神經網路機械翻譯的訓練限制

1. 訓練時間耗時 ：因為循環網路的相依性，而造成平行化執行上的限制，而雙向 循環網路比起單向更加難以訓練，即使使用數十個 GPU 在架構上盡可能地做平行化處理，仍需幾天甚至到數週的訓練時間才能使損失函數停止波動。
2. 參數數量較卷積網路多，而造成不易調校的情況：目前 針對電腦視覺的大型卷積網路架構已有自動參數搜尋的架構，然而對於 Sequence to Sequence 架構因為其龐大的參數量，而使參數搜尋困難。

致讀者：

參考資料：

1. 本篇主要的參考資料是來自於 Machine Learning Mastery （英）的一系列關於機械翻譯的文章（見下）
2. Tensorflow 的 NMT 教學文（英）：從沒有 Attention 的 Sequence to Sequence 教學，到併入 Attention 的模型建構教學，非使用 keras。

• A Gentle Introduction to Neural Machine Translation：介紹關於機械翻譯的簡史，包含相關參考資料，書和論文，並簡述重要觀念。
• Encoder-Decoder recurrent model：介紹 encoder-decoder 模型觀念。
• Beam search in NMT：介紹 beam search。
• Configure Encoder-Decoder in NMT：介紹 google 2017 年發表的文章
• How to Prepare a French-to-English Dataset for Machine Translation ：使用法文翻譯英文的資料（非上所提及的資料集，較小）來解釋如何用 Python 做資料處理，包括 tokenize 和 word normalization。
• How to Develop a Neural Machine Translation System from Scratch：使用 keras 套件並用英文翻譯德文的小型資料集建立一個 Sequence to Sequence 翻譯系統，沒有 Attention 機制。
• How to Develop an Encoder-Decoder Model with Attention for Sequence-to-Sequence Prediction in Keras：有 Attention 機制的 Sequence-to-Sequence。

延伸閱讀：

1. Sequence Modeling With CTC（英）：發表在 distill 上解說 CTC 的文章，文中有清楚的 Beam Search 說明。