[探索] 現行深度學習架構概況

“... 2017 年的人工智慧趨勢中，我最期待莫過於深度學習架構往更加使用者友善和更易編碼的方向大幅改變。多虧了動態計算圖和物件導向設計，使得 PyTorch 在 2017 甫推出後，即獲得許多 Python 使用者的喜愛。甚至連 TensorFlow 藉由納入廣受社群歡迎的深度學習高階函式 -- Keras 於其核心程式庫，以及發表動態執行 eager 介面，也朝著使用者友善的程式介面前進。建構深度學習程式的藩籬對多數程式寫作者將逐漸地降低...

... the 2017 AI trend I’m most excited about is that deep learning frameworks are getting dramatically more user-friendly and accessible. PyTorch (released this year) is friendly to anyone who knows Python (largely due to dynamic computation and OOP design). Even TensorFlow is moving in that direction, by adopting Keras into its core codebase and announcing eager (dynamic) execution. The barriers for coders to use deep learning are getting lower all the time ...

註釋：

1. SWIG 一個如 Cython 之於 Python，作為原生程式碼（C/C++）程式碼產生器和編譯器，只不過 SWIG 可產生多個不同直譯式語言的介面。
2. Protocol Buffers 屬於許許多多序列化二元檔案格式中的滄海一粟，封裝類別物件，並搭配 Google 發展的 gRPC 服用。

參考資料：

1. Theano 由 University of Toronto MILA 實驗室開發，深度學習以及抽象化編程的先驅函式庫之一。
2. Battle of the Deep Learning frameworks — Part I: 2017, even more frameworks and interfaces（英，發表於 2017.12）
3. Introducing Gluon: a new library for machine learning from AWS and Microsoft（英，發表於 2017.10）
4. PyTorch vs TensorFlow — spotting the difference（英，發表於 2017.6）
5. Tensorflow 官網
6. pytorch tutorial on github

延伸閱讀：

1. A Way to Benchmark Your Deep Learning Framework On-premise（英，發表於 2018.7, MXNet 的官方部落格）：該文以 DevOps 的角度和需要經常更新深度學習模型，而不造成服務的中斷為主要選取深度學習的架構的考量。基於此一考量，API 和 code base 的穩定，也在考慮之中，因而該文作者較為偏好 MXNet 和 Gluon 的組合。同時在該文章中，也對如何對不同的深度學習架構做 benchmarking，提出了架構和流程的解說。
2. The Battle Between Deep Learning Frameworks（英，發表於 2018.4）：該文對現行的深度學習架構作兩兩比較。包括的比較對數有 Tensorflow vs PyTorch，Tensorflow vs Theano，Tensorflow vs Keras，Keras vs TFLearn。該文在每一對的比較之後，都會有簡短的核對清單，主要是提供架構選擇者來依據需求決定該使用何種函式庫。
3. Deep Learning Frameworks （英）Nvidia 在開發者專欄中所做的深度學習架構介紹並不包括評比，包括了 Caffe2（Berkeley Vision and Learning Center, 同時也併入 PyTorch）/ Nvidia Caffe，Cognitive Toolkit (CNTK, Microsoft)，MATLAB，MXNet（Apache，用於 AWS），Tensorflow（Google）以及 PyTorch （Facebook）。另外還有較少為人知的 Chainer (Python) 以及 PaddlePaddle
4. TensorFlow, MXNet, Caffe, H2O - Which Machine Learning Tool Is Best? （英，發表於 2017.8）主要評比機械學習架構包括了 Tensorflow, Caffe, MXNet, H2O，文章的末段主要討論如何使用一或多個機械學習架構，和 data pipeline 結合。
5. The Anatomy of Deep Learning Frameworks / An Overview of Python Deep Learning Frameworks：KDNuggets 在 2017 刊登兩篇關於深度學習架構的文章。其中一篇是以 python 為主的架構。
6. Building simple artificial neural networks with TensorFlow, Keras, PyTorch and MXNet/Gluon（英，2018.5）：文中先以 Data Incubator 在 2017 年使用 google search，github watch stars，stackoverflow tagging counts 所做的深度學習函式庫的排名。再使用 MNIST 手寫影像識別 dataset 作為訓練資料，分別用Tensorflow，Keras（仍舊是 Tensorflow 做後端）， PyTorch 和 MXNet 建立簡單的 CNN 模型。
7. Comparison of Frameworks（英）：對約 16 個深度學習函式庫，給予正面和反面的評價。
8. Deep Learning Frameworks Hands-on Review（英，2017.12）：和延伸閱讀 [6] 的一樣，使用 MNIST 手寫影像識別的 dataset 作為訓練資料，但在較多的深度學習函式庫上比較。