方格精選

[The Batch] 無人機競速 x 框架衝突 x 更精準的結果

更新於 發佈於 閱讀時間約 11 分鐘
raw-image

TensorFlow Versus PyTorch, Autonomous Drone Races, State-of-the-Art with Less Compute, NLP for Rare Languages

機器學習的成長真的是日新月異。當我們身邊許多人還搞不清楚AI能做什麼,不能做什麼,還在搞懂CNN,DNN,GAN是什麼東西的時候,前線的應用研究已經越來越成熟。不管是哪種架構的神經網路,正在快要變得像軟體IC,像函式庫,像元件一樣的可以組合使用,創造出更powerful的應用。同時,這些完成品也開始往行動平台在移動,追求一樣的表現,更少的耗能及算力需求。

而Framework的多樣性也開始正在收斂:來自於社群研究為主的PyTorch及企業優先採用的TensorFlow,是將來的唯二選擇。就像遊戲引擎最終會只剩下3種一樣,多樣性是必要的,但不能是持續的,不然就會失去可靠性及應用場景(想想Linux桌面系統就知道了)。這對急需趕上AI應用的台灣絕對是好事,接下來就看誰能真正端出產品了。

Andrew Says

我最近換了使用2年的手機,正在搞清楚如何在低光源的狀況下,用長曝光的方式拍Nova睡覺的照片。這帶給我許多意想不到的樂趣。

上週我寫了關於AI界的道德問題,以及如何在AI工程中提煉出可執行的一些道德原則。 知名的整理專家「近虅麻理惠」說,若這東西不再讓你感到心動,獲得熱情,你就該丟了它。這就讓我想到,當我們建立任何AI系統時,它們能讓用戶感到心動或獲得熱情嗎?

這確實有許多解釋的空間。我在努力工作,幫助他人,增進人類處事效率及學習的過程中找到熱情,而在這些令人上癮的電子產品上則不會。我並不期望任何人都能在這個過程得到同樣的價值,當你在難以決定要投注心力在哪個專案的過程,這個問題也許會有幫助:你的機器學習專案,能給用戶帶來熱情或心動的感覺嗎?

這當然不是完整的答案,但可以是一個有用的起頭。

Autonomous Drones Ready to Race

駕駛員以每小時120公里的速度,操作著加強性的四軸無人機進行障礙越野賽。但很快的他們可能要失去這份工作了,因為協會正準備試著用AI來取代駕駛員,看能不能增添點趣味。

raw-image

What’s new

無人機競速聯盟(Drone Racing League,簡稱DRL)最近舉辦了一場比賽,他們稱這是未來運動,同時,他們也發表了新的飛行器「RacerAI」。它搭載了Nvidia的Jetson AGX推論引擎,4個立體視覺攝影機,而螺旋槳可輸出20磅的推力。

What’s happening

RacerAI是由DRL及Lockheed Martin兩大AlphaPilot競賽團隊所贊助構建的AI模型平台:

  • 有420個團隊在這個平台的模擬賽道,測試它們的模型。
  • 虛擬的測試會將參賽者篩選到剩下9隊,然後在2019年秋季進行4場比賽。
  • 來自南韓凱斯大學的USRG團隊,於10/8贏得了第一場比賽,第二場比賽預定在11/2於華盛頓舉行。
  • 系列賽的冠軍可得100萬獎金。在2020年初這個冠軍模型將面對最頂尖的真人對手,以爭取額外的25萬獎金。

Behind the news

DRL的駕駛員使用的是由協會建造及維護的標準無人機,而且是使用相同的模擬器以訓練「RacerAI」。實際比賽通常是1英哩長,而且會在美國及歐洲的活動空間中舉行。

Why it matters

無人機競速是很有趣的比賽,但這些無人機習得的自動駕駛技能,是可以應用在真實世界的,比如說自動遞送。

We’re thinking

近期DRL釋出的一段影片顯示,現在的模型即便是要高速穿過圓環,也還有很大的改善空間。所以真人駕駛員「目前」還是有很顯著的優勢的。

Clash of the Frameworks

多數的深度學習應用是在TensorFlow或PyTorch框架上的,一份最新的分析報告指出,它們的受眾相當不同。

What’s new

康乃爾大學的研究員,在過去一年間從公開資訊比較了TensorFlow及PyTorch的使用量。根據「The Gradient」的報告指出,PyTorch在社群的研究用途快速增長,而TensorFlow仍是企業應用的首選。

(工商一下:您現在看的「The Batch」是由「deeplearning.ai」提供的,而我們在Coursera有提供TensorFlow專家課程哦!)

Findings

Horace He使用的是代理資料來判斷,這些用戶是來自於企業界還是純社群研究:

  • 研究界的狀況是,他調查了提交給2018年前五大AI論譠的論文摘要數量,他發現這一年中,PyTorch的用戶平均增加了275%,TensorFlow的用戶減少了0.5%。
  • 企業界的狀況是,他分析了3000份職位列表。企業要求有TensorFlow的經驗人數,遠超過要有PyTorch的人數。他還對LinkedIn的文章進行了調查,發現TensorFlow比PyTorch的比例是3230:1200。
  • TensorFlow在GitHub上存放的倉庫數,也是遠超過PyTorch的,他認為這是實務使用的關鍵指標。

Competitive strengths

  • TensorFlow擁有大量的用戶基礎,而企業採用新技術的步調都較慢。
  • TensorFlow比PyTorch更有效率,即便是節省了一點點模型運行時間,也有助於公司提高利潤。
  • Pytorch深度整合了Python,這使得Python的源碼更容易使用及除錯。
  • 根據Horace He的調查,多數的研究者仍然比較喜歡PyTorch的API,因為它從2016以來就維持著一致的框架架構。

We’re thinking

對於要選用哪一個頂級框架,很快地我們就得仔細籌算了。新釋出的TensorFlow 2.0新增了許多PyTorch用戶喜歡的功能,特別是和Python的整合以及預設使用Eager模式執行。然而多數的深度學習是由研究員驅動發展的,因此多數的畢業生都會帶著PyTorch技能進入職場。

Two Steps to Better Summaries

在自然語言處理領域中,匯整文章大意是一個長期未能有所突破的問題。而最近,研究員們在朝向人類水平的路上更進一步了。他們的摘要提到:「比起之前我們從原文抽取文句的方法,我們建立了一個模型,可直接”產生”出來的方式,來產出抽象大意」。

raw-image

What’s new

來自於ElementAI及Montreal的學習算法研究所的研究員,並不直接產出抽象的大意,而是先抽取大意後,來指導產出的文字(大意)內容。

Key insight

提供這種抽取出來的大意,再搭配原文,可有效幫助預先訓練好的語言模型,來產出品質更好的抽象大意。

How it works

「大意化」的程序分為兩步:抽取及抽象

  • 研究員訓練一個神經網路來找出文中最重要的句子。本質上,他們是基於全文所有句子的關係,為每一條句子分配分數(包括內容及風格),所以抽取出來的大意就是分數最高的那些句子。
  • 透過像GPT架構的對抗式神經網路,持續以人類寫過的抽象大意來訓練後,就可以依據原文的字詞關係,一個字一個字的產出抽象大意的預期結果。

Results

作者測試了4個語料庫,所有語料庫均包括人工撰寫的摘要:arXiv(研究論文),PubMed(醫學研究論文),bigPatent(專利文件)和Newsroom(新聞文章)。這些作者都採用了ROUGE來比較他們寫的和產生的摘要分數。其中3個語料庫產生的大意,並不只是從原文複製一些句子出來而已,已具有相當高的完成度。唯有在Newsroom的ROUGE評分上,還是以抽取式的大意獲得較高的分數。

Why it matters

自動產出高品質的抽象摘要的AI能力,對只是把原文提取長句後,再替換成精簡的摘要文字的工作者來說,可說是提升了極大的產出率。真是太棒了!我們希望這不會讓「The Batch」的團隊失業…

High Accuracy, Low Compute

隨著神經網路越來越精準,它們的模型大小及算力要求也像吹氣球般變得更大。這些完美的模型要在手機或是那些低功耗的裝置上運行,就變得不那麼容易了。這裡有一個新技巧,能讓卷積神經網路能在不嚴重降低表現的情況下,減少更多算力需求。

What’s new

來自於北京大學的游忠惠和自動駕駛新創公司Momenta,提出了一種新方法,能移除那些對模型效能影響不大的參數:「Gate Decorator」。

raw-image

Key insight

這個新技術是直接移除一整個功能群組的參數(特別是卷積網路中的那些篩選器),而不是單個單個的移除。

How it works

Gate Decorator會為模型加入一個比例因子,來表示每一個篩選器對模型輸出的重要性。評分的標準是來自於模型的損失函數,因此最沒影響力的篩選器就會被移除。

  • Gate Decorator模型會處理訓練用資料集的子集,來學習找出各篩選器的比例因子影響值,而原模型還是不做任何更動。
  • 一開始每個比例因子的值是亂數分配的,而Gate Decorator模型是被鼓勵去學習找出最小的比例因子,再乘上篩選器的輸出後,可以使最終表現影響最小。
  • 用戶找出來影響最小比例因子的篩選器會開始被刪除,修剪過的網路會整個資料集的環境下再做優化調整。
  • 整個過程會依照用戶指定的次數進行數次迭代。

Results

研究員比較了原版和修剪過後的算力成本及精準度。Gate Decorator減少了基於ImageNet訓練出來的ResNet約55%的算力,以及基於CIFAR訓練出來的ResNet約70%。但精準度的部分,前者降低了0.67%,後者反而還增加了0.03%。

Why it matters

和權重修剪的技法不同,Gate Decorator完全是依據實際結果來調整而獲得成效,而不是只依據理論。而且,裁剪篩選器的模型仍可運行既有的演算法,但若是在密集互連的神經網路移除權重的話,最終我們會再需要尋找特化後的演算法。

We’re thinking

像這樣的修剪法或許可和其他參數組一併使用,以降低CNN體系以外的算力需求。最終的模型更可以再被像是「量子化」的方法壓縮變得更小。

留言
avatar-img
留言分享你的想法!
avatar-img
SharpWriter(周乃宏)的沙龍
34會員
69內容數
Google實驗室Area120釋出了一個「製作遊戲」的遊戲叫「Game Builder」。 主要的用戶是遊戲編導,方便他們以拖拉卡片的型式來驗證遊戲性好不好。 因此這個專題就是「Game Builder」的"真心話(好用難用都會說)"和"大冒險(真的來挑戰看看能做什麼遊戲)"囉!
2024/11/21
引文中最後的那句「大疆成立至今將近20年,在無人機應用上仍舊保有競爭力」,如果認真想想就會意識到那有多恐怖. 那20年專注在無人機的功力,已經不只是創辦人眼光的問題了...
Thumbnail
2024/11/21
引文中最後的那句「大疆成立至今將近20年,在無人機應用上仍舊保有競爭力」,如果認真想想就會意識到那有多恐怖. 那20年專注在無人機的功力,已經不只是創辦人眼光的問題了...
Thumbnail
2024/11/01
品質才是決定工作生產力的重點。
2024/11/01
品質才是決定工作生產力的重點。
2024/10/27
「不批評,不指責,不抱怨」三大核心精神,真的是「不可能」的嗎?
Thumbnail
2024/10/27
「不批評,不指責,不抱怨」三大核心精神,真的是「不可能」的嗎?
Thumbnail
看更多
你可能也想看
Thumbnail
TOMICA第一波推出吉伊卡哇聯名小車車的時候馬上就被搶購一空,一直很扼腕當時沒有趕緊入手。前陣子閒來無事逛蝦皮,突然發現幾家商場都又開始重新上架,價格也都回到正常水準,估計是官方又再補了一批貨,想都沒想就立刻下單! 同文也跟大家分享近期蝦皮購物紀錄、好用推薦、蝦皮分潤計畫的聯盟行銷!
Thumbnail
TOMICA第一波推出吉伊卡哇聯名小車車的時候馬上就被搶購一空,一直很扼腕當時沒有趕緊入手。前陣子閒來無事逛蝦皮,突然發現幾家商場都又開始重新上架,價格也都回到正常水準,估計是官方又再補了一批貨,想都沒想就立刻下單! 同文也跟大家分享近期蝦皮購物紀錄、好用推薦、蝦皮分潤計畫的聯盟行銷!
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
前言 本文將探討3個近期最新引人注目的 AI 主題。 首先我們將了解特斯拉機器人如何在現實世界中學習,並展現其自主功能。 其次,我們將探討人工智能在應對重大風險方面的關鍵角色,如應對大流行病、氣候變化和小行星撞擊等全球挑戰。 最後,我們將介紹 Falcon 模型在開源語言模型領域的傑出表現,該模型
Thumbnail
前言 本文將探討3個近期最新引人注目的 AI 主題。 首先我們將了解特斯拉機器人如何在現實世界中學習,並展現其自主功能。 其次,我們將探討人工智能在應對重大風險方面的關鍵角色,如應對大流行病、氣候變化和小行星撞擊等全球挑戰。 最後,我們將介紹 Falcon 模型在開源語言模型領域的傑出表現,該模型
Thumbnail
大家好,我是川爺。 今天來講因為疫情缺工、烏俄戰爭,使曝光率增加, 人民有感的三種產業,未來幾年規模可能快速增長。 因疫情開放,全球化、AI經濟平台崛起。 想要幫助產業優化或轉型嗎? 你聽過ChatGPT機器人嗎? ChatGPT是由美國舊金山的人工智慧實驗室開發,伊隆・馬斯克是創辦人之一, 主要理
Thumbnail
大家好,我是川爺。 今天來講因為疫情缺工、烏俄戰爭,使曝光率增加, 人民有感的三種產業,未來幾年規模可能快速增長。 因疫情開放,全球化、AI經濟平台崛起。 想要幫助產業優化或轉型嗎? 你聽過ChatGPT機器人嗎? ChatGPT是由美國舊金山的人工智慧實驗室開發,伊隆・馬斯克是創辦人之一, 主要理
Thumbnail
去年阿財有分享過自動駕駛技術各個解決方案的路線選擇,當時我就有提到過我認為傳統車廠為什麼不走純視覺路線的可能原因,這邊再稍微分享一下: 首先在講純視覺之前先了解一下目前純視覺是如何計算深度的,目前用相機拍到的影像計算深度有單目視覺、雙目視覺、運動結構恢復(sfm)等再搭配AI模型,可以搜尋Pseud
Thumbnail
去年阿財有分享過自動駕駛技術各個解決方案的路線選擇,當時我就有提到過我認為傳統車廠為什麼不走純視覺路線的可能原因,這邊再稍微分享一下: 首先在講純視覺之前先了解一下目前純視覺是如何計算深度的,目前用相機拍到的影像計算深度有單目視覺、雙目視覺、運動結構恢復(sfm)等再搭配AI模型,可以搜尋Pseud
Thumbnail
世界目前正處於人工智能 (AI) 革命之中。 人工智能有可能改變和徹底改變許多行業和我們生活的方方面面, 而且越來越明顯的是,未來世界將嚴重依賴人工智能。 人工智能將產生重大影響的關鍵領域之一是自動化領域。 自動化是指在沒有人工干預的情況下使用技術來執行任務,已經存在了幾十年。 然而,人工智能的
Thumbnail
世界目前正處於人工智能 (AI) 革命之中。 人工智能有可能改變和徹底改變許多行業和我們生活的方方面面, 而且越來越明顯的是,未來世界將嚴重依賴人工智能。 人工智能將產生重大影響的關鍵領域之一是自動化領域。 自動化是指在沒有人工干預的情況下使用技術來執行任務,已經存在了幾十年。 然而,人工智能的
Thumbnail
「機器人」與「AI人工智慧」是這個時代的趨勢,眾多的高科技公司與產業正積極的研發這一個領域,這次特斯拉就在 2022 AI Day 展示他們的 Tesla Optimus ,在影片中,機器人完成了澆花、搬運貨物、以及工廠生產線的零件操作等等。 筆者對於「機器人時代來臨」非常的興奮,可是究竟「機器人」
Thumbnail
「機器人」與「AI人工智慧」是這個時代的趨勢,眾多的高科技公司與產業正積極的研發這一個領域,這次特斯拉就在 2022 AI Day 展示他們的 Tesla Optimus ,在影片中,機器人完成了澆花、搬運貨物、以及工廠生產線的零件操作等等。 筆者對於「機器人時代來臨」非常的興奮,可是究竟「機器人」
Thumbnail
●互動式飛天機器人 整合數學、物理、自動控制、機電、資通等科技的互動式飛天機器人 【視頻】The astounding athletic power of quadcopters ●大量使用Python 工具 【視頻】使用Python設計無人機飛行路徑 ●晶片設計關鍵工具-EDA軟體 【視頻】How
Thumbnail
●互動式飛天機器人 整合數學、物理、自動控制、機電、資通等科技的互動式飛天機器人 【視頻】The astounding athletic power of quadcopters ●大量使用Python 工具 【視頻】使用Python設計無人機飛行路徑 ●晶片設計關鍵工具-EDA軟體 【視頻】How
Thumbnail
【美國完成人工智慧無人機的半自動飛行實驗】綜合外電報導,美國通用原子公司在近日表示,該公司已在10月時,利用復仇者匿蹤無人機,搭配人工智慧,進行了一次成功的半自動飛行實驗。在這次的實驗中還有另外5架復仇者匿蹤無人機參加,讓使用了人工智慧的那架復仇者匿蹤無人機,模擬在戰區中自動偵蒐空中威脅.....
Thumbnail
【美國完成人工智慧無人機的半自動飛行實驗】綜合外電報導,美國通用原子公司在近日表示,該公司已在10月時,利用復仇者匿蹤無人機,搭配人工智慧,進行了一次成功的半自動飛行實驗。在這次的實驗中還有另外5架復仇者匿蹤無人機參加,讓使用了人工智慧的那架復仇者匿蹤無人機,模擬在戰區中自動偵蒐空中威脅.....
Thumbnail
稱為NeurIPS(神經資訊處理系統會議)的全球人工智慧領域盛會剛剛結束,出席者人數創下歷史新高,即使採取抽票制也難以容納。9,000張門票在12分鐘內售完,顯示了世界各地對AI興趣的爆炸式增長。
Thumbnail
稱為NeurIPS(神經資訊處理系統會議)的全球人工智慧領域盛會剛剛結束,出席者人數創下歷史新高,即使採取抽票制也難以容納。9,000張門票在12分鐘內售完,顯示了世界各地對AI興趣的爆炸式增長。
Thumbnail
機器學習的成長真的是日新月異。當我們身邊許多人還搞不清楚AI能做什麼,不能做什麼,還在搞懂CNN,DNN,GAN是什麼東西的時候,前線的應用研究已經越來越成熟…
Thumbnail
機器學習的成長真的是日新月異。當我們身邊許多人還搞不清楚AI能做什麼,不能做什麼,還在搞懂CNN,DNN,GAN是什麼東西的時候,前線的應用研究已經越來越成熟…
Thumbnail
一張圖講完今年會議重點,幾乎都放在台灣企業的數位轉型浪潮上面,主要包含雲端與AI技術的導入 今年第二次參與AWS高峰會,一如往常的每年都有很多新的嘗試與實驗,跟去年大玩AI應用的路線不同的地方在於,今年的會議帶出很多企業轉型與DevOps的議題
Thumbnail
一張圖講完今年會議重點,幾乎都放在台灣企業的數位轉型浪潮上面,主要包含雲端與AI技術的導入 今年第二次參與AWS高峰會,一如往常的每年都有很多新的嘗試與實驗,跟去年大玩AI應用的路線不同的地方在於,今年的會議帶出很多企業轉型與DevOps的議題
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News