解密 AI 與資料科學 (二) : AI 的類型與實戰場景

閱讀時間約 4 分鐘

raw-image


前一篇文章,介紹了 AI 領域的分工以及不同崗位上的關鍵腳色。這篇文章要介紹 AI 的種類/類型,及其各種實戰應用的場域。


|資料科學與AI的戰場

人們對 AI 的普遍理解,可能是像 ChatGPT 那類能講講話、畫圖、創作影片的工具。但其實 AI 種類很多,任務各不相同,而且早已深入生活很多層面了。借款人違約預測、都市交通管理、生成假圖、客服小幫手……。所以想投入 AI 領域的研發和技術底層,得先了解戰場,戰場決定學習方向。

 

就我心得,AI 任務主要有三類,不同任務會面對的資料型態,甚至採用的經典演算法都不相同。第一種是數值型資料,顧名思義其資料都是各種連續或離散的數字,銀行的違約機率預測、工廠機具磨損率、複雜機械壞損原因預測等,都是AI的任務。這類任務蠻經常使用經典機器學習演算法,當然近年來熱門的深度學習跟強化學習也不是沒機會,應用場景畢竟不是死的。而關於這些算法,我後面篇章會再介紹詳細一點。

 

這類任務中又有一個獨特的議題──時間序列。時間序列資料是按照時間戳記做記錄的,像是價格、天氣預測或計量經濟數據都屬於這類。此類數學型態特殊,每一筆資料之間都有連動與相關性,因此影響或破壞傳統統計的特性﹝假設每筆樣本互相獨立﹞,也就衍伸出專門的研究方法。近年來很多學派與方法,如貝葉斯和深度學習等都投入應用。這也是我從大學到工作一直主攻的。

 

第二類我打算用 NLP﹝Natural Language Processing,自然語言處理﹞來定義。這類任務主要讓電腦能解譯、理解和操作人類的語言。人類語言的類型沒有明確規範,總之是包含聽說讀寫的層面,技術上來說就是文字、聲音和影片等非結構化的數據。

 

其實大家對此應該最熟悉,我們會議軟體裡面的聲音轉文字、新聞的情緒分析和智能小客服都在 NLP 的範圍,包含近年奮發突起的 ChatGPT 也是其代表作。統計為基礎的模型/算法曾在這領域大行其道,像是馬可夫鍊﹝我曾經示範使用此模型於 NLP,請見此﹞。而後深度學習的神經網路和 Transformer 框架成為這個任務的主宰。

 

第三類是電腦影像辨識,其任務專注在辨識和分割圖片特定人物、場景和物體。這領域當前也是深度學習/神經網路的天下。這類 AI 能夠辨認圖片、製造合成圖片、分割出圖片中的特徵,或是透過物體與物體之間的關係推知場景的意涵。我記得我遇過有研究生就在處理這類任務,要預測照片中是垃圾或不是垃圾的物體,而人物身分辨識和超市商品識別,已經是常見的應用。醫療領域可以用來分割病患X光圖片中的異常部分。

 

其實還有隱藏的一類,只是很難歸類到以上任一,就是近年來盛行的強化學習﹝精確來說這不是一類任務,而是技術﹞。2016年打敗韓國棋王的 AlphaGo,還有進階版的 AlphaGo Zero,就是這一類型的 AI。強化學習方法強調個體 (agent) 與環境的互動和應對,訓練過程基於獎勵訊號而訓練 AI 針對環境變化採取合乎目標的行動。

 

也就是說這類 AI 非常彈性,面對環境的變化例如各種奇形怪狀的房間,或是棋手多變的棋路,都能做出合宜應對。ChatGPT 的訓練環節也包含了強化學習﹝讓他講人話的部分﹞。

 

|AI 長怎樣,取決於人們怎麼理解「智慧」

之所以會有這麼多 AI 演算法,各種奇形怪狀的神經網路、強化學習等等,是因為近年來世界克服了早期電腦算力的缺陷,所以有些方法能大行其道。AI 發展的早期歷程,大家對於仿生智慧的想像也不一樣,所以衍伸出很多 AI 學派,主流是三個:符號主義、連接主義和行為主義。

 

符號主義構建的系統基於明確決策邏輯與豐富的知識/資訊,人類的行為可以投過符號、條件和邏輯表達,他們想像的 AI 也應該類似那樣;連接主義是神經網路的開山者,打下今天 AI 機器學習的重要基礎。他們看 AI 的行動更像是神經元之間的資訊傳遞,資訊傳遞有壓縮、有權重,以及有觸發順序,在一系列處理後吐出預測結果/行動。在算力充足的時代這個學派的思想更受好評。

 

行為主義則對應到前述的強化學習,行為來自對環境的感知和反應。最終在這個算力大爆發﹝感謝NVIDIA和上下游軟硬體產業﹞的時代,神經網路更和行為主義走在一起,產生交集了。

 

不過學派之間的起起落落大是大非,就不是本章節的重點。大概講個古,知道一些 AI 的演變就好,也許能幫助我們了解眼前這些技術的本質是什麼,或許也能進一步幫我們想像 AI 未來會是哪種形式進展。

 

實務上不同 AI 任務會採用的方法、演算法,大概就是以上介紹的,隨著環境的變化、資料變異跟需求複雜度,什麼方法會主宰何種領域任務,還有很多變數,選擇喜歡戰場,多多關注學術和技術討論,會很有幫助。


本篇就講到這裡,接下來我們要介紹一系列 AI 底層的專業領域。


14會員
14內容數
大數據意味著什麼?數據科學背後有怎樣的mind set和技術?數據科學家又做些什麼?這些科技/技術,帶給我們什麼生活上和人文上的省思?這個專題會橫跨這些彼此相關的面向,避開生澀的專業詞彙,探索這些事情背後的樣貌。應該會是有趣的知識和想法分享﹝笑﹞
留言0
查看全部
發表第一個留言支持創作者!
Darren的沙龍 的其他內容
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
魔球記載MLB奧克蘭運動家隊的真實故事。該隊以小搏大,用數據思維選出一批從未被看好的球員,打出最瘋狂的佳績。 這本是經典老書了,書中細節大家已多有討論,我只著重在「統計數據」與「新舊觀念衝突」兩部分。透過魔球的精神,反思今天科技時代下「人」或「人才」的價值,我也會表達我對一個大趨勢形成的看法。
正文1,724字,主要跟你分享未來 AI 變更強更效率的兩個層面──數據與模型框架。你會從實務者的觀點,知道數據跟 AI (或機器學習模型) 表現間的關係;了解 ChatGPT 為什麼有運算資源的困擾;同時,你也會看到目前最新改善 AI 運算速度的技術發表。
去年錄製好的線上課程,今年終於上架了! 非常慚愧,在方格子平台還沒寫幾篇內容,就要先宣傳自己的課程。不過現在67折優惠,宣傳還是有必要的吧,哈!我就維持喜寫論述的習性,介紹一下這門課程,以及我在這個領域──金融商品價格預測──所看見的狀況。 好奇的可以當補充課外知識,有興趣的可以看文末的課程連結。
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
這篇來寫,嘗試用GPT4解決工作中,一個讓我渾身難受的問題。 任務說明 我要做的事情是,把word檔中表格的部分資訊擷取出來。下圖的示範表格即是一例。 我需要存取表格中特定元素資訊,例如 Net Calorific Value,我得存下Min. 4,750這個訊息,同理可知,Total Sulfur
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
魔球記載MLB奧克蘭運動家隊的真實故事。該隊以小搏大,用數據思維選出一批從未被看好的球員,打出最瘋狂的佳績。 這本是經典老書了,書中細節大家已多有討論,我只著重在「統計數據」與「新舊觀念衝突」兩部分。透過魔球的精神,反思今天科技時代下「人」或「人才」的價值,我也會表達我對一個大趨勢形成的看法。
正文1,724字,主要跟你分享未來 AI 變更強更效率的兩個層面──數據與模型框架。你會從實務者的觀點,知道數據跟 AI (或機器學習模型) 表現間的關係;了解 ChatGPT 為什麼有運算資源的困擾;同時,你也會看到目前最新改善 AI 運算速度的技術發表。
去年錄製好的線上課程,今年終於上架了! 非常慚愧,在方格子平台還沒寫幾篇內容,就要先宣傳自己的課程。不過現在67折優惠,宣傳還是有必要的吧,哈!我就維持喜寫論述的習性,介紹一下這門課程,以及我在這個領域──金融商品價格預測──所看見的狀況。 好奇的可以當補充課外知識,有興趣的可以看文末的課程連結。
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
這篇來寫,嘗試用GPT4解決工作中,一個讓我渾身難受的問題。 任務說明 我要做的事情是,把word檔中表格的部分資訊擷取出來。下圖的示範表格即是一例。 我需要存取表格中特定元素資訊,例如 Net Calorific Value,我得存下Min. 4,750這個訊息,同理可知,Total Sulfur
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
在今年的COMPUTEX展前演講中,Nvidia的首席執行官黃仁勳宣布了一個令人震驚的消息:Nvidia將從2025年開始每年更新其AI芯片。這一舉動無疑預示著一場新的工業革命正式拉開了序幕。
Thumbnail
本文揭示當前工業領域的一場無聲革命:智慧製造。在引言中,我們探討了智慧製造如何開啟生產力新紀元,隨後深入分析大數據如何加速生產過程中的創新與效率,成為本次革命的核心動力。從學術研究到現實應用,本文探討了智慧製造領域的發展脈絡,以及學界與業界共同推進的不可逆轉動能。
Thumbnail
ChatGPT 近期對 Plus 用戶釋出大量新功能,其中之一就是「Advanced Data Analysis」。許多人評斷,未來都可能被「不會寫程式」的人取代,因為人人都可以像資料科學家一樣,自由自在處理數據!相信許多讀者對 Plus 功能仍在觀望,畢竟所費不貲。筆者在這邊就示範一些功能給大家!
Thumbnail
Chatlize.ai 是由一名生物資訊學者 Steven Xijin Ge 所做,透過簡易的介面可以讓使用者輕鬆透過指令(prompt)的方式就可以輕鬆處理數據。結果不僅會直接提供程式原始碼、並執行,若有視覺化需求,它也會幫你完整視覺化。
Thumbnail
親愛的讀者朋友們, 大家好!近年來,人工智慧(AI)已經成為我們生活中不可或缺的一部分,無論是在科技、醫療、教育還是藝術領域,AI的應用無處不在。在這篇文章中,我們將帶您深入探索AI引領下的未來奇幻世界,揭示一個充滿可能性和挑戰的全新時代。 1. 創新的藝術革命:AI藝術家的誕生 從電影生成
Thumbnail
一直以來,我們在浩瀚的宇宙中尋找地外生命的任務都遇到一個重大的挑戰,那就是我們無法有效處理天文望遠鏡每15秒就產生的2GB數據。但現在,隨著AI的興起,我們能夠更有效地分析這些龐大的資料。
Thumbnail
相信大家都知道AI這個話題現在到底是有多夯,前些日子的黃仁勳之亂相信大家還都記憶猶新。今天推薦一部影片主要是講述 AI、機器學習及深度學習的概念,內容簡明扼要並又帶點幽默元素,希望非理工背景的大家都可以初步了解 AI這個概念。
Thumbnail
在這個科技日新月異的時代,人工智慧投資熱潮席捲全球,吸引了無數投資者的目光。然而,科博工作室馬博泰提醒大家,AI投資熱潮並不一定能帶來金錢收益,相較之下,賣鏟子十字鎬等傳統行業的收益更為穩定。那麼,投資者該如何看待AI投資熱潮呢?本文將從美國加州淘金熱的歷史出發,探討AI投資熱潮背後的真相。
Thumbnail
幾天前Sundar Pichai與夥伴受訪,對人工智慧做了總整理,這四個重點,能幫助我們重溫人與AI的關係。
Thumbnail
廣告背後的惡意「潛伏者」,如點擊農場、惡意程式、仿真機器人所帶來的垃圾流量正在鯨吞蠶食行銷效益,為全球品牌與客戶帶來巨大威脅
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
在今年的COMPUTEX展前演講中,Nvidia的首席執行官黃仁勳宣布了一個令人震驚的消息:Nvidia將從2025年開始每年更新其AI芯片。這一舉動無疑預示著一場新的工業革命正式拉開了序幕。
Thumbnail
本文揭示當前工業領域的一場無聲革命:智慧製造。在引言中,我們探討了智慧製造如何開啟生產力新紀元,隨後深入分析大數據如何加速生產過程中的創新與效率,成為本次革命的核心動力。從學術研究到現實應用,本文探討了智慧製造領域的發展脈絡,以及學界與業界共同推進的不可逆轉動能。
Thumbnail
ChatGPT 近期對 Plus 用戶釋出大量新功能,其中之一就是「Advanced Data Analysis」。許多人評斷,未來都可能被「不會寫程式」的人取代,因為人人都可以像資料科學家一樣,自由自在處理數據!相信許多讀者對 Plus 功能仍在觀望,畢竟所費不貲。筆者在這邊就示範一些功能給大家!
Thumbnail
Chatlize.ai 是由一名生物資訊學者 Steven Xijin Ge 所做,透過簡易的介面可以讓使用者輕鬆透過指令(prompt)的方式就可以輕鬆處理數據。結果不僅會直接提供程式原始碼、並執行,若有視覺化需求,它也會幫你完整視覺化。
Thumbnail
親愛的讀者朋友們, 大家好!近年來,人工智慧(AI)已經成為我們生活中不可或缺的一部分,無論是在科技、醫療、教育還是藝術領域,AI的應用無處不在。在這篇文章中,我們將帶您深入探索AI引領下的未來奇幻世界,揭示一個充滿可能性和挑戰的全新時代。 1. 創新的藝術革命:AI藝術家的誕生 從電影生成
Thumbnail
一直以來,我們在浩瀚的宇宙中尋找地外生命的任務都遇到一個重大的挑戰,那就是我們無法有效處理天文望遠鏡每15秒就產生的2GB數據。但現在,隨著AI的興起,我們能夠更有效地分析這些龐大的資料。
Thumbnail
相信大家都知道AI這個話題現在到底是有多夯,前些日子的黃仁勳之亂相信大家還都記憶猶新。今天推薦一部影片主要是講述 AI、機器學習及深度學習的概念,內容簡明扼要並又帶點幽默元素,希望非理工背景的大家都可以初步了解 AI這個概念。
Thumbnail
在這個科技日新月異的時代,人工智慧投資熱潮席捲全球,吸引了無數投資者的目光。然而,科博工作室馬博泰提醒大家,AI投資熱潮並不一定能帶來金錢收益,相較之下,賣鏟子十字鎬等傳統行業的收益更為穩定。那麼,投資者該如何看待AI投資熱潮呢?本文將從美國加州淘金熱的歷史出發,探討AI投資熱潮背後的真相。
Thumbnail
幾天前Sundar Pichai與夥伴受訪,對人工智慧做了總整理,這四個重點,能幫助我們重溫人與AI的關係。
Thumbnail
廣告背後的惡意「潛伏者」,如點擊農場、惡意程式、仿真機器人所帶來的垃圾流量正在鯨吞蠶食行銷效益,為全球品牌與客戶帶來巨大威脅