AI 深度學習之父 - Geoffrey Hinton 辛頓

更新於 發佈於 閱讀時間約 3 分鐘


1986 年,人工智慧的崛起,神經網路的出現

1986年,Geoffrey Hinton等學者提出了反向傳播演算法(Backpropagation) ℹ️,為人工神經網路研究拓展了新的道路,掀起了一股研究熱潮。 然而,這項創新在當時遇到了一些瓶頸。 首先,受限於硬體的運算能力,訓練深層神經網路的效率較低。 另外,神經網路在架構上也存在一個棘手的問題-梯度消失問題。 這指的是,在反向傳播過程中,梯度會隨著網絡層數的增加而逐層減小,導致深層網絡的參數無法被很好地調整和優化。 因此,當時只能處理較淺層的神經網路結構,從而限制了模型的性能表現。 由於上述原因,人工神經網路的發展一度陷入了停滯期。

ℹ️ 反向傳播(Backpropagation):對多層類神經網路進行梯度下降的演算法,也就是用鏈式法則以網路每層的權重為變數計算損失函式的梯度,以更新權重來最小化損失函式。



2006年,深度學習起飛的一年

2006年,Hinton找到了突破反向傳播演算法優化困境的方法,Hinton 是如何成功訓練深層神經網路的呢?

他提出了"限制玻爾茲曼機"和"深度信念網絡"兩個關鍵概念,他指出,具有多個隱藏層的深層神經網路能夠學習到更高級、抽象的特徵表示,模型因而有更出色的表現。但訓練過程中也面臨難以直接優化的挑戰,他提出的解決方案是透過層層逐步預先訓練的方式,初始化深層網路的參數,從而有效減輕了訓練的複雜度。

由於深層神經網路的研究在此前長期處於停滯狀態,Hinton賦予了「深度學習」這個名稱,重新點燃了人們對這一領域的熱情,正因為這項開創性的貢獻,Hinton 被尊稱為「深度學習之父」,這一年被認為是深度學習元年。



2018年,Hinton 對於深度學習的貢獻獲得認可,榮獲圖靈獎

在深度學習爆發後,Hinton 也持續在這個領域研究,例如 2017 年提出膠囊網路(CapsNet)模型,試圖讓神經網路能夠更好地理解空間等高維度資料。2018 年,他憑藉在深度學習領域的開創性工作,獲得了享有「計算機界諾貝爾獎」美譽的最高榮譽—圖靈獎。 與他並肩分享這一殊榮的,還有兩位同為人工智慧領域的領導人物、多年好友:Yoshua Bengio和Yann LeCun。 三人因在深度神經網路的理論概念和工程實現方面的突破性貢獻,一併獲得了這個計算機科學界最崇高的獎項。


近年,Hinton 談論 AI 帶來的危險


2023年,Hinton 從工作十年的 Google 離職,並且提到,自己離開 Google 的原因是為了更自由地談論 AI 帶來的風險。深度學習之父的 Hinton 不斷地呼籲大眾關注 AI 帶來的危險,他甚至在訪談中提到,人們不應該擔心氣候變遷,雖然氣候是個嚴重的問題。但在這個問題上,我們可以很明確地知道如何解決,減少碳的使用等作法將改善氣候問題,反觀 AI,我們根本還不清楚未來會帶來什麼問題


avatar-img
5會員
17內容數
AI x Data Science 探討 AI 大小事
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Everything ✨ 的其他內容
黃仁勳在史丹佛 View From The Top 的演講,他談到了許多關於 NVIDIA 的故事,創立的初衷、遇到的挑戰、公司轉型的契機等等,也分享了面對困難與未知的挑戰,自己是如何堅持做對的事情,帶領公司持續前進。
Devin 是世界上首位虛擬 AI 工程師,擁有寫程式、架設網站、除錯、自動化測試等技術。憑藉出色的學習能力,Devin 能夠自動檢查並修正程式碼錯誤,還能自行訓練和微調自身 AI 模型。本文探討了 AI 工程師的能力以及對軟體工程師就業市場的潛在影響。
Elon Musk 是一位傳奇企業家,創辦了多家知名公司,如 PayPal、SpaceX、Tesla、The Boring Company、Neuralink 等等。本文介紹馬斯克的創業經歷,包括創辦公司的過程和一些成功與爭議,並探討他所推崇的「第一性原理」思考方式及未來可能的新創業故事。
世界西洋棋冠軍 Garry Kasparov分享了他在 1997 年與 IBM Deep Blue 比賽下棋卻輸給機器的故事。然而,他呼籲人們不要害怕被人工智能超越,而是要與機器合作,因為科技的進步將帶來更多力量。影片中提到了與人工智能共存的可能性,以及機器與人類各自的優勢。值得一看的影片!
OpenAI的推出了許多產品,包括Gym強化學習工具包、Dactyl AI機械手臂、Five遊戲模型、DALL·E文字生成圖片以及Sora文字生成影片。這些產品不僅展示了AI的發展與進步,也在不同領域有著廣泛的應用和影響。
Anthropic推出了新的Claude 3系列模型,號稱打敗OpenAI GPT-4與Google Gemini,成為地表最強的AI模型。文章介紹了Anthropic公司的核心理念、Claude 3模型家族與GPT-4 Gemini的比較。Claude 3模型在文字與圖像的理解能力都有大幅提升。
黃仁勳在史丹佛 View From The Top 的演講,他談到了許多關於 NVIDIA 的故事,創立的初衷、遇到的挑戰、公司轉型的契機等等,也分享了面對困難與未知的挑戰,自己是如何堅持做對的事情,帶領公司持續前進。
Devin 是世界上首位虛擬 AI 工程師,擁有寫程式、架設網站、除錯、自動化測試等技術。憑藉出色的學習能力,Devin 能夠自動檢查並修正程式碼錯誤,還能自行訓練和微調自身 AI 模型。本文探討了 AI 工程師的能力以及對軟體工程師就業市場的潛在影響。
Elon Musk 是一位傳奇企業家,創辦了多家知名公司,如 PayPal、SpaceX、Tesla、The Boring Company、Neuralink 等等。本文介紹馬斯克的創業經歷,包括創辦公司的過程和一些成功與爭議,並探討他所推崇的「第一性原理」思考方式及未來可能的新創業故事。
世界西洋棋冠軍 Garry Kasparov分享了他在 1997 年與 IBM Deep Blue 比賽下棋卻輸給機器的故事。然而,他呼籲人們不要害怕被人工智能超越,而是要與機器合作,因為科技的進步將帶來更多力量。影片中提到了與人工智能共存的可能性,以及機器與人類各自的優勢。值得一看的影片!
OpenAI的推出了許多產品,包括Gym強化學習工具包、Dactyl AI機械手臂、Five遊戲模型、DALL·E文字生成圖片以及Sora文字生成影片。這些產品不僅展示了AI的發展與進步,也在不同領域有著廣泛的應用和影響。
Anthropic推出了新的Claude 3系列模型,號稱打敗OpenAI GPT-4與Google Gemini,成為地表最強的AI模型。文章介紹了Anthropic公司的核心理念、Claude 3模型家族與GPT-4 Gemini的比較。Claude 3模型在文字與圖像的理解能力都有大幅提升。
你可能也想看
Google News 追蹤
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
人工智能:革命性技術的崛起與挑戰 1. 什麼是人工智能? 人工智能(AI)是指由人類創造的機器或系統,能夠模仿人類智能,執行通常需要人類智能才能完成的任務。這包括學習、問題解決、語言理解、視覺感知等能力。AI系統可以處理大量數據,識別模式,並根據這些信息做出決策或預測。 2.
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
這個文章提供了多年的高考作文題目,並根據內容或具體的例子進行論述。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
在當今數位化的時代,人工智慧已然成為企業界的一個焦點。這種技術的應用不僅僅是技術上的進步,更是一種商業策略的轉型。然而,要了解人工智慧的意義和影響,我們需要回顧其起源。
Thumbnail
可能包含敏感內容
艾倫·麥席森·圖靈,OBE,FRS是英國電腦科學家、數學家、邏輯學家、密碼分析學家和理論生物學家,他被譽為電腦科學與人工智慧之父。 二次世界大戰期間,「Hut 8」小組,負責德國海軍密碼分析。 期間他設計了一些加速破譯德國密碼的技術,包括改進波蘭戰前研製的機器Bombe,一種可以找到恩尼格瑪密碼機設
Thumbnail
數位化時代中,人工智能(AI)已成為推動創新和進步的關鍵力量。本文探討AI的現狀、挑戰以及未來可能性,並提出負責任地發展和使用AI的思考。
Thumbnail
在晶狀智慧的時代,人類與AI共舞,共同建構更先進、更智能的未來。這是一場革命,一場改變人類命運的奇蹟,讓我們共同見證這個智慧的新紀元。
Thumbnail
圖靈研究所舉辦的圖靈講座系列,邀請數據科學和人工智慧領域的專家來分享最新的研究成果和見解。本講座探討了生成式AI的無限可能, AI的進化之路,面對挑戰與倫理問題,未來展望,圖靈測試與AI的意識問題等多個主題,對AI技術的發展提供了深刻見解和引發思考....
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
人工智能:革命性技術的崛起與挑戰 1. 什麼是人工智能? 人工智能(AI)是指由人類創造的機器或系統,能夠模仿人類智能,執行通常需要人類智能才能完成的任務。這包括學習、問題解決、語言理解、視覺感知等能力。AI系統可以處理大量數據,識別模式,並根據這些信息做出決策或預測。 2.
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
這個文章提供了多年的高考作文題目,並根據內容或具體的例子進行論述。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
在當今數位化的時代,人工智慧已然成為企業界的一個焦點。這種技術的應用不僅僅是技術上的進步,更是一種商業策略的轉型。然而,要了解人工智慧的意義和影響,我們需要回顧其起源。
Thumbnail
可能包含敏感內容
艾倫·麥席森·圖靈,OBE,FRS是英國電腦科學家、數學家、邏輯學家、密碼分析學家和理論生物學家,他被譽為電腦科學與人工智慧之父。 二次世界大戰期間,「Hut 8」小組,負責德國海軍密碼分析。 期間他設計了一些加速破譯德國密碼的技術,包括改進波蘭戰前研製的機器Bombe,一種可以找到恩尼格瑪密碼機設
Thumbnail
數位化時代中,人工智能(AI)已成為推動創新和進步的關鍵力量。本文探討AI的現狀、挑戰以及未來可能性,並提出負責任地發展和使用AI的思考。
Thumbnail
在晶狀智慧的時代,人類與AI共舞,共同建構更先進、更智能的未來。這是一場革命,一場改變人類命運的奇蹟,讓我們共同見證這個智慧的新紀元。
Thumbnail
圖靈研究所舉辦的圖靈講座系列,邀請數據科學和人工智慧領域的專家來分享最新的研究成果和見解。本講座探討了生成式AI的無限可能, AI的進化之路,面對挑戰與倫理問題,未來展望,圖靈測試與AI的意識問題等多個主題,對AI技術的發展提供了深刻見解和引發思考....