AI 深度學習之父 - Geoffrey Hinton 辛頓

Photo by Arseny Togulev on Unsplash

1986 年，人工智慧的崛起，神經網路的出現

1986年，Geoffrey Hinton等學者提出了反向傳播演算法(Backpropagation) ℹ️，為人工神經網路研究拓展了新的道路，掀起了一股研究熱潮。 然而，這項創新在當時遇到了一些瓶頸。 首先，受限於硬體的運算能力，訓練深層神經網路的效率較低。 另外，神經網路在架構上也存在一個棘手的問題－梯度消失問題。 這指的是，在反向傳播過程中，梯度會隨著網絡層數的增加而逐層減小，導致深層網絡的參數無法被很好地調整和優化。 因此，當時只能處理較淺層的神經網路結構，從而限制了模型的性能表現。 由於上述原因，人工神經網路的發展一度陷入了停滯期。

ℹ️ 反向傳播（Backpropagation）：對多層類神經網路進行梯度下降的演算法，也就是用鏈式法則以網路每層的權重為變數計算損失函式的梯度，以更新權重來最小化損失函式。

2006年，深度學習起飛的一年

2006年，Hinton找到了突破反向傳播演算法優化困境的方法，Hinton 是如何成功訓練深層神經網路的呢?

他提出了"限制玻爾茲曼機"和"深度信念網絡"兩個關鍵概念，他指出，具有多個隱藏層的深層神經網路能夠學習到更高級、抽象的特徵表示，模型因而有更出色的表現。但訓練過程中也面臨難以直接優化的挑戰，他提出的解決方案是透過層層逐步預先訓練的方式，初始化深層網路的參數，從而有效減輕了訓練的複雜度。

由於深層神經網路的研究在此前長期處於停滯狀態，Hinton賦予了「深度學習」這個名稱，重新點燃了人們對這一領域的熱情，正因為這項開創性的貢獻，Hinton 被尊稱為「深度學習之父」，這一年被認為是深度學習元年。

2018年，Hinton 對於深度學習的貢獻獲得認可，榮獲圖靈獎

在深度學習爆發後，Hinton 也持續在這個領域研究，例如 2017 年提出膠囊網路(CapsNet)模型，試圖讓神經網路能夠更好地理解空間等高維度資料。2018 年，他憑藉在深度學習領域的開創性工作,獲得了享有「計算機界諾貝爾獎」美譽的最高榮譽—圖靈獎。 與他並肩分享這一殊榮的,還有兩位同為人工智慧領域的領導人物、多年好友:Yoshua Bengio和Yann LeCun。 三人因在深度神經網路的理論概念和工程實現方面的突破性貢獻,一併獲得了這個計算機科學界最崇高的獎項。

近年，Hinton 談論 AI 帶來的危險

2023年，Hinton 從工作十年的 Google 離職，並且提到，自己離開 Google 的原因是為了更自由地談論 AI 帶來的風險。深度學習之父的 Hinton 不斷地呼籲大眾關注 AI 帶來的危險，他甚至在訪談中提到，人們不應該擔心氣候變遷，雖然氣候是個嚴重的問題。但在這個問題上，我們可以很明確地知道如何解決，減少碳的使用等作法將改善氣候問題，反觀 AI，我們根本還不清楚未來會帶來什麼問題