D020｜機器學習理論如何指導實務？

「直覺和生活常識非常有用，但缺乏知識的直覺會欺騙你。」

「Google對產品經理的要求是，在沒有數據之前不要輕易給出結論。」

「有些事情讓你放棄掉生活中獲得的直覺，是千難萬難。」

「有一點經驗的工程師都知道，任何產品的性能都有一個物理上無法突破的極限，

這個極限並不需要等到工程上接近的那一天才知道，

而是早就可以通過已有的理論直接給出。」

「缺乏工程思維的人才會想，隨著科技的發展，任何人間奇跡都是可能的。」

這段討論，節錄自吳軍老師矽谷來信第二季的內容[1]，

引發我對科學與工程的思考。

由於我的背景是台大數學系與台大應用數學所，

在2017年開始在美國普渡大學攻讀統計學博士時，

手上有的研究工具，都是數學工具。

我在臺大時期，一直都是數學分析工具的愛好者：

實分析，泛函分析，測度論，機率論，隨機過程，隨機微積分。

而由於在台大，也受純數學工具的各種薰陶：

抽象代數，代數幾何，微分幾何，李群李代數。

而到了普渡大學，開始研究統計機器學習理論，

很自然就會從數學理論的角度去想怎麼做研究。

然而，在我的經驗上，直接從會的工具出發去做科學研究，

就落入了手上有錘子，看什麼都是釘子的尷尬局面，

容易做出沒人關心，意義不大的成果。

而吳軍老師這一講，給出了理論研究的意義：

要能為工程實務，指導其根本極限。

如此，我也開始理解，為什麼機器學習理論，

要討論什麼樣的機器學習任務是「可學的 Learable」，

而如果可學，那麼學會的「樣本複雜度 Sample Complexity」是多大，

而如果缺失的某些「資訊 Information」的來源，

任務的可學性如何，樣本複雜度又會增加多少。

這的確都是達成「可擴展性 Scalability」前，需要考慮的維度。

很不錯，感覺我看理論題目的品味又提升了一層。

Reference

[1] 吳軍 - 硅谷来信2-谷歌方法论 - 第003封信 | 工程思维：直觉和极限 (https://www.dedao.cn/course/article?id=rykaNlMY5gn3JqZA7X7EAROW0DLjev)