付費限定文章

AI教父Hinton的奇幻旅程-超政經好書選#11

閱讀時間約 23 分鐘
前言: 前天《紐約時報》的科技記者Cade Metz,也是本文所介紹的好書《AI製造商沒說的秘密》一書的作者在該報發表了對Geoffroy Hinton的專訪,首度揭露了他要離開谷歌,下一步是要以獨立的身分來討論、提醒世人AI可能帶來的風險,而Cade Metz這書本對於類神經網路這派的人工智慧發展可以說做了非技術性的權威性追溯,本文便是把書中Hinton,還有另一位AI大神楊立昆在推進這個人工智慧分支的關鍵十年的過程做了重點摘要,除了Hinton和楊立昆,從本文就可以知道現在在OpenAI公司挑大樑的蘇茲克維是如何發跡的,也更了解台灣新創界的名人-Ikala的CEO程世嘉這則短短貼文所指的Hinton豐功偉業倒底是那些。
一、類神經網路派人工智慧的第一個突破
2008年12月11日鄧力走進加拿大卑詩省惠斯勒的一家旅館,他是參加完在溫哥華的神經語言處理(NIP)人工智慧年會後,來參加氣氛相對輕鬆的NIP 研討會,他致力於開發能夠辨識語音的軟體。他原來是滑鐵盧大學的華裔教授,後來成為微軟在西雅圖近郊中央研發實驗室的研究員。鄧力和他的團隊在微軟花了三年,開發了一套最新的語音辨識系統,然而準確度只比上一代高5%。會議的某一天晚上他在惠斯勒遇到他在加拿大時就已經認識的辛頓。
鄧力問他”有什麼新鮮事?”,辛頓回他”深度學習”,辛頓表示神經網路已經開始發展到進行語音辨識。對此鄧力心中存疑,辛頓從來不是一位語音辨識專家,而且神經網路迄今不曾在任何方面出現實質成果。但辛頓和他的學生近幾年已經出版了多篇關於深度線念網路的論文。此一網路可以處理大量數據並自其中學習。現今其效能已經接近最先進的語音辨識系統,是之前的科技無法企及的。
辛頓和鄧力說”你一定得試試”。第二年夏天鄧力比較有空,他開始閱讀當時被稱為神經語言辨識的論文,結果他大為激賞。接者在下一屆惠斯勒研討會前夕,辛頓發了一封郵件給鄧力,郵件中有篇論文草稿,該稿件顯示,經過三小時對口語的分析後,神經網路的語音辨識表現與其他一些最先進的方式不相上下。但是鄧力對此存疑,多倫多大學這些科學家解說此一科技的方式讓人難以理解。
而且他們是以實驗室錄製的聲音資料庫來進行測試,而非真實世界的語音。於是他要求檢視他們測試的原始數據。當他打開電子郵件,親眼看到這些資料。了解此一科技的能耐後,他終於相信了。 那年夏天鄧力邀請辛頓到微軟的總部的中央研發室待一陣子,辛頓答應了。他們以稱做MATLAB 的程式語言來建立模型,所寫的程式碼超過十頁。大多是都是辛頓所寫的,鄧力對他優雅簡約的程式碼大為驚艷,不過這些程式碼讓他欣喜的不只是明確而已,他們以微軟的語音資料來訓練該系統,成效卓著。雖然還不及當時最先進的一些系統,但已足以令鄧力相信,這就是語音辨識的未來。
鄧力已預見,他和辛頓合力建立的系統,在吸收大量的資料之後,效能會更強大。這套原型系統,所缺少的是分析所有資料所需的處理效能。在多倫多,辛頓所使用的是一款非常特殊的晶片,叫做GPU,也就是圖形處理器。輝達等矽谷晶片設計商,原本設計這些晶片是為了最後一站(halo)、俠盜列車首(Grand Thaft Auto) 等熱門電子遊戲快速產生圖像。
鄧力與Hinton。
但是深度學習的研究人員發現 GPU 可以快速處理神經網路的數學運算。早在 2005 年在鄧力與辛頓日後建立語音辨識系統的微軟實驗室,就有三位工程師 想到使用這類晶片。與此同時,史丹佛大學的一個研究團隊,也在無意間發現 這類晶片的另類用途。這種晶片可以讓神經網路學習速度加快,而且增加其學習的能量。這些完全呼應了楊立昆90年代在貝爾實驗室的研究成果。
GPU最大的特點是,它是現成的硬體,無須打造新晶片來加快深度學習的發展。在多倫多,辛頓與他的兩位學生:阿布圖∙拉曼∙穆罕默德與英國教授之子喬治∙達爾,就是利用這種特殊晶片來訓練他們的語音辨識系統,從而開發出遠在水準之上的科技。這個夏天的幾個月後,辛頓打開一封來自陌生人的郵件,此人名叫威爾∙奈維特,他問辛頓能否送一位學生來北加州的谷哥總部。
二、繼微軟、IBM之後谷歌加入戰局
繼幫助微軟設立新的語音研發計畫和公開發表研究報告後,他們又前往幫助第二家科技巨擘 IBM 進行類似的研發計畫。2010年秋天,在造訪微軟九個月後 阿布圖∙拉曼開始與IBM的華生研究中心合作。但當時辛頓的學生達爾另有研究計畫,穆罕默德在IBM。於是辛頓轉向另一一位學生:奈迪普∙傑特力,他是一位計算生物學家,後來才投入人工智慧的研究。他是加拿大印度移民之子 ,派他去和谷歌合作。傑特力要求寫信來的奈維特購買一台裝滿GPU的機器。
傑特力離開多倫多要去和谷歌的人見面前,學者氣息濃厚的達爾曾叮嚀他,不要隨便聽從大公司的話。他說”你要對谷歌予取予求,而不是讓谷歌對你予取予求”。於是傑特力和范豪克等谷歌人見面時,提出了大型神經網路的計畫。 這個提議起初被否決,因為即使訓練小型的神經網路也要幾天的時間。
傑特力要是以谷歌的資料來訓練,可能要花上幾周的時間。一位谷歌人問傑特力,他能否以兩千小時訓練出一套神經網路。這回輪到傑特力拒絕了。之前在多倫多的實驗室穆罕默德與達爾只用了三小時的資料訓練神經網路。在微軟,他們用了十二小時的資料。而谷歌是一家所有資料都超大量的企業。在會面結束後傑特力寫了一封EMAIL給辛頓。他問到”有人曾經用兩千個小時來訓練嗎”? ”沒有”,辛頓答覆,”不過我不認為有什麼行不通的”。
到了蒙特婁的谷哥辦公室(因為傑特力當時正在申請美國綠卡,無法再去申請 美國的工作簽證)。傑特力在一周之內就開始透過線上操作那台嗡嗡作響的GPU機器訓練他的第一套神經網路。當他測試他的新系統時,發現他的錯誤辨識率是21﹪左右,這是一項了不起的成就。谷歌自己應用在安卓手機上的語音辨識服務的錯誤率都還卡在23﹪,降不下來。又經過兩週的訓練後,傑特力將他的系統錯誤率,進一步降至18﹪。
這套系統又快又好,傑特力於是決定訓練第二套系統。能夠在YOUTUBE影片中 搜尋特定的語彙 (如果你只是從系統中搜尋驚喜一詞,該系統就能辨識影片何時出現此詞)。谷歌已經建立了一套這樣的服務,不過有53﹪的錯誤率。而在夏季結束之前,傑特力已將他的系統錯誤率降到48﹪的水準。但問題在傑特力的系統處理網路即時訊問的速度比理想的速度慢了十倍,這種速度沒人想用。
在谷歌的范豪克團隊處理這問題的同時,又有一支團隊加入研究。而且是來自谷歌完全不同的部門。當傑特力在蒙特婁埋頭苦幹時,有幾名科學家包括辛頓的一位學生在內,在谷歌的加州總部設立了一所深度學習實驗室。在范豪客團隊的合作下,該實驗室不到六個月的時間就將此一科技應用在安卓手機上。谷歌起初並未向世界宣布其語音辨識服務已經改變。
這項新服務上線後沒有多久,范豪克就接到為最新款安卓手機供應晶片的一家小廠商的電話。此一廠商的晶片,是在你對手機發號命令時能夠去除四周環境的噪音,用以去除雜音,幫助語音系統能夠更容易辨識語音。但是該廠商告訴范豪克,晶片已經失去作用,無法提升語音辨識服務的功能。范豪克聽了之後 很快就了解是怎麼一回事:這是新型的語音辨識系統效能太高,反過來使去除噪音的晶片無用武之地,由此顯示谷歌的神經網路系統已經學會如何處理噪音。
2010年年底,吳恩達做在一家日本料理店內,等候谷歌的創辦人-佩吉。吳恩達出生於倫敦、成長於新加坡,是一位香港籍醫生的兒子。
以行動支持創作者!付費即可解鎖
本篇內容共 9546 字、2 則留言,僅發佈於你目前無法檢視以下內容,可能因為尚未登入,或沒有該房間的查看權限。
    13.3K會員
    208內容數
    這是每一個老闆與高階經理人,都會需要的國際政經分析師特助。訂閱本專題,將會幫助你即時掌握世界最重要的趨勢變動,建立真正客觀、全面的國際觀, 培養對於關鍵議題的深度洞察與分析能力。
    留言0
    查看全部
    發表第一個留言支持創作者!
    你可能也想看
    迎新活動「方格新手村」:新格友註冊加入方格子,知名日料吃到飽餐券送給你! 👉 還不是 vocus 的會員嗎?點此註冊,參與新手村活動 👈 近期站上也出現了不少新格友,為了歡迎各位的加入,「方格新手村」隨之登場! 即日起,只要是新註冊帳號於活動期間內發佈 3 則文章,就有機會抽獎獲得知名日料吃到飽餐券。原格友也可以一起同樂,我們準備了小任
    Thumbnail
    2024-06-21
    95
    川普當選,對台股是利多還是利空?川普在槍擊事件中所表現出來的英勇形象,讓他贏得美國總統大選幾乎已成定局。沒想到他隨口的一句話「台灣搶走美國的晶片生意,所以要付保護費」,就讓台積電在短短三天跌掉超過100 元,台股也跌掉1100點以上。台積電、台股會就此一路下跌嗎?未來該如何因應?  
    Thumbnail
    2024-07-20
    50
    金融科技與生活美學的融合 CUBE App實踐自我理想最近開啟了研究工作,也開始斜槓著手團購、行銷、洽談業務,慢慢想打造一條屬於自己的道路,而工作忙碌之虞,總忘記自己刷卡消費明細、信用卡繳費,還會忽略了最應該的投資理財,也常常在忙碌奔波中忘記信用卡優惠,國泰世華CUBE App給足了這些功能和服務。 日常生活與數位、科技形影不離,同時也拉近彼此距
    Thumbnail
    2024-07-11
    11
    Ai教父黃仁勳的150度相位一個台南孩子,如何華麗轉身成為電子產業的佼佼者,探索Ai教父黃仁勳的梅花相位
    Thumbnail
    AI教父黃仁勳訪台旋風 – 對孩子未來迷惘的家長,還在堅持傳統教育路線?隨著AI教父黃仁勳於前日(6月8日)離臺,今年2024臺北國際電腦展COMPUTEX終於落幕,電腦展期間各重量級公司主管一連串的演講,無不昭示AI新世代的來到。本文討論AI世代的優勢,以及家長們應如何因應教育。
    Thumbnail
    〔AI教父黃仁勳|面相|做人處事〕AI教父黃仁勳,30歲就創辦了輝達,他說:「想做偉大的事並不容易,你必須忍受痛苦、必須奮鬥、必須完成許多艱難,努力解決問題,才能讓你真正欣賞自己所做的事情,沒有哪件偉大的事情是容易做到的。」 今天以AI教父做面相範例 幫大家解析,如此做大事的人,後天產生的相由心生,可借此做為調整自我,往更好
    Thumbnail
    2024-06-05
    41
    AI教父黃仁勳演講點名台廠-今14檔漲停!昨天黃仁勳演講深入討論AI時代如何推動全球產業革命性發展時,他展示了一張台灣地圖,上面列出了台積電、鴻海、廣達等「43台廠供應鏈」,還包含了16所台灣的大學。
    Thumbnail
    發佈在
    小綠同學
    2024-06-03
    2
    AI教父黃仁勳訪台旋風 – 學生更該學習他的3大特質伴隨著生成式AI成為顯學,NVIDIA執行長黃仁勳(Jensen Huang)的一舉一動接成為眾人目光焦點,但是在看他的新聞之外,有沒有什麼是值得和學生分享、值得學習的呢? 個人覺得下面3點最值得參考! 持續運動、專注當下、偉大源於人格特質
    Thumbnail
    心理學的教與學:AI在教育領域的潛力隨著人工智能(AI)技術的快速發展,越來越多領域開始尋求與AI結合的可能性。教育領域作為人類知識傳承與成長的核心......
    2023-04-29
    1
    AI帶來的下一代教育,是什麼模樣?正當老師們思索如何面對AI時,比爾.蓋茲提出了他的看法、可汗學院則已經開始動手做。 不久前,比爾.蓋茲在一場對談上講起13歲的故事。當時,學校有一台電腦終端機,但沒有老師會用,而比爾.蓋茲和朋友會。所以,他們就在學校裡開始操作那台古老的電腦...
    Thumbnail
    2023-04-21
    5
    AI浪潮下的兒童教育自從Chat GPT瘋迷全世界之後,網路上的文章和影片從這個新工具的應用和衍伸商機開始,慢慢開始導論這個新技術對於人類社會的影響,最後開始反思人類怎麼面對人工智慧這種比較哲學性的題目。 “人類簡史”作者尤瓦爾赫拉利寫的另一本書”未來簡史”已經在五年前就對這個哲學問題提供很精闢的看法。我這裡就不劇透。
    2023-04-08
    3
    AI來臨應該如何教育孩子?新時代的思維是什麼?上星期六帶姪女一起參加兒子的運動會 結束後一起去吃午餐,然後兩個小朋友就跑去拿彩色筆跟紙在那邊畫圖,我看姪女畫得很開心就問她是不是很喜歡畫畫,她馬上說「我超喜歡的,但都沒時間學,要去安親班」。 就想到之前去做臉的時候跟有兩個女兒的店長聊到,她不覺得讀書有多重要,所以讓女兒選擇喜歡的事物,例如跳舞跟畫
    Thumbnail
    2023-03-21
    3
    AI徹底改變大學理工教育的面貌─學習的本質(18)作者:陳華夫 人類學習即是改變腦神經記憶網絡中,軸突末端的突觸之腦波傳導的效能。學習AI的人工神經網絡,一定要用Python程式把抽象的概念轉變為具體的印象,才有利於理解,不致於半途而廢。
    Thumbnail
    2023-02-13
    7
    迎新活動「方格新手村」:新格友註冊加入方格子,知名日料吃到飽餐券送給你! 👉 還不是 vocus 的會員嗎?點此註冊,參與新手村活動 👈 近期站上也出現了不少新格友,為了歡迎各位的加入,「方格新手村」隨之登場! 即日起,只要是新註冊帳號於活動期間內發佈 3 則文章,就有機會抽獎獲得知名日料吃到飽餐券。原格友也可以一起同樂,我們準備了小任
    Thumbnail
    2024-06-21
    95
    川普當選,對台股是利多還是利空?川普在槍擊事件中所表現出來的英勇形象,讓他贏得美國總統大選幾乎已成定局。沒想到他隨口的一句話「台灣搶走美國的晶片生意,所以要付保護費」,就讓台積電在短短三天跌掉超過100 元,台股也跌掉1100點以上。台積電、台股會就此一路下跌嗎?未來該如何因應?  
    Thumbnail
    2024-07-20
    50
    金融科技與生活美學的融合 CUBE App實踐自我理想最近開啟了研究工作,也開始斜槓著手團購、行銷、洽談業務,慢慢想打造一條屬於自己的道路,而工作忙碌之虞,總忘記自己刷卡消費明細、信用卡繳費,還會忽略了最應該的投資理財,也常常在忙碌奔波中忘記信用卡優惠,國泰世華CUBE App給足了這些功能和服務。 日常生活與數位、科技形影不離,同時也拉近彼此距
    Thumbnail
    2024-07-11
    11
    Ai教父黃仁勳的150度相位一個台南孩子,如何華麗轉身成為電子產業的佼佼者,探索Ai教父黃仁勳的梅花相位
    Thumbnail
    AI教父黃仁勳訪台旋風 – 對孩子未來迷惘的家長,還在堅持傳統教育路線?隨著AI教父黃仁勳於前日(6月8日)離臺,今年2024臺北國際電腦展COMPUTEX終於落幕,電腦展期間各重量級公司主管一連串的演講,無不昭示AI新世代的來到。本文討論AI世代的優勢,以及家長們應如何因應教育。
    Thumbnail
    〔AI教父黃仁勳|面相|做人處事〕AI教父黃仁勳,30歲就創辦了輝達,他說:「想做偉大的事並不容易,你必須忍受痛苦、必須奮鬥、必須完成許多艱難,努力解決問題,才能讓你真正欣賞自己所做的事情,沒有哪件偉大的事情是容易做到的。」 今天以AI教父做面相範例 幫大家解析,如此做大事的人,後天產生的相由心生,可借此做為調整自我,往更好
    Thumbnail
    2024-06-05
    41
    AI教父黃仁勳演講點名台廠-今14檔漲停!昨天黃仁勳演講深入討論AI時代如何推動全球產業革命性發展時,他展示了一張台灣地圖,上面列出了台積電、鴻海、廣達等「43台廠供應鏈」,還包含了16所台灣的大學。
    Thumbnail
    發佈在
    小綠同學
    2024-06-03
    2
    AI教父黃仁勳訪台旋風 – 學生更該學習他的3大特質伴隨著生成式AI成為顯學,NVIDIA執行長黃仁勳(Jensen Huang)的一舉一動接成為眾人目光焦點,但是在看他的新聞之外,有沒有什麼是值得和學生分享、值得學習的呢? 個人覺得下面3點最值得參考! 持續運動、專注當下、偉大源於人格特質
    Thumbnail
    心理學的教與學:AI在教育領域的潛力隨著人工智能(AI)技術的快速發展,越來越多領域開始尋求與AI結合的可能性。教育領域作為人類知識傳承與成長的核心......
    2023-04-29
    1
    AI帶來的下一代教育,是什麼模樣?正當老師們思索如何面對AI時,比爾.蓋茲提出了他的看法、可汗學院則已經開始動手做。 不久前,比爾.蓋茲在一場對談上講起13歲的故事。當時,學校有一台電腦終端機,但沒有老師會用,而比爾.蓋茲和朋友會。所以,他們就在學校裡開始操作那台古老的電腦...
    Thumbnail
    2023-04-21
    5
    AI浪潮下的兒童教育自從Chat GPT瘋迷全世界之後,網路上的文章和影片從這個新工具的應用和衍伸商機開始,慢慢開始導論這個新技術對於人類社會的影響,最後開始反思人類怎麼面對人工智慧這種比較哲學性的題目。 “人類簡史”作者尤瓦爾赫拉利寫的另一本書”未來簡史”已經在五年前就對這個哲學問題提供很精闢的看法。我這裡就不劇透。
    2023-04-08
    3
    AI來臨應該如何教育孩子?新時代的思維是什麼?上星期六帶姪女一起參加兒子的運動會 結束後一起去吃午餐,然後兩個小朋友就跑去拿彩色筆跟紙在那邊畫圖,我看姪女畫得很開心就問她是不是很喜歡畫畫,她馬上說「我超喜歡的,但都沒時間學,要去安親班」。 就想到之前去做臉的時候跟有兩個女兒的店長聊到,她不覺得讀書有多重要,所以讓女兒選擇喜歡的事物,例如跳舞跟畫
    Thumbnail
    2023-03-21
    3
    AI徹底改變大學理工教育的面貌─學習的本質(18)作者:陳華夫 人類學習即是改變腦神經記憶網絡中,軸突末端的突觸之腦波傳導的效能。學習AI的人工神經網絡,一定要用Python程式把抽象的概念轉變為具體的印象,才有利於理解,不致於半途而廢。
    Thumbnail
    2023-02-13
    7