解密 AI 與資料科學 (二) : AI 的類型與實戰場景

閱讀時間約 4 分鐘

raw-image


前一篇文章,介紹了 AI 領域的分工以及不同崗位上的關鍵腳色。這篇文章要介紹 AI 的種類/類型,及其各種實戰應用的場域。


|資料科學與AI的戰場

人們對 AI 的普遍理解,可能是像 ChatGPT 那類能講講話、畫圖、創作影片的工具。但其實 AI 種類很多,任務各不相同,而且早已深入生活很多層面了。借款人違約預測、都市交通管理、生成假圖、客服小幫手……。所以想投入 AI 領域的研發和技術底層,得先了解戰場,戰場決定學習方向。

 

就我心得,AI 任務主要有三類,不同任務會面對的資料型態,甚至採用的經典演算法都不相同。第一種是數值型資料,顧名思義其資料都是各種連續或離散的數字,銀行的違約機率預測、工廠機具磨損率、複雜機械壞損原因預測等,都是AI的任務。這類任務蠻經常使用經典機器學習演算法,當然近年來熱門的深度學習跟強化學習也不是沒機會,應用場景畢竟不是死的。而關於這些算法,我後面篇章會再介紹詳細一點。

 

這類任務中又有一個獨特的議題──時間序列。時間序列資料是按照時間戳記做記錄的,像是價格、天氣預測或計量經濟數據都屬於這類。此類數學型態特殊,每一筆資料之間都有連動與相關性,因此影響或破壞傳統統計的特性﹝假設每筆樣本互相獨立﹞,也就衍伸出專門的研究方法。近年來很多學派與方法,如貝葉斯和深度學習等都投入應用。這也是我從大學到工作一直主攻的。

 

第二類我打算用 NLP﹝Natural Language Processing,自然語言處理﹞來定義。這類任務主要讓電腦能解譯、理解和操作人類的語言。人類語言的類型沒有明確規範,總之是包含聽說讀寫的層面,技術上來說就是文字、聲音和影片等非結構化的數據。

 

其實大家對此應該最熟悉,我們會議軟體裡面的聲音轉文字、新聞的情緒分析和智能小客服都在 NLP 的範圍,包含近年奮發突起的 ChatGPT 也是其代表作。統計為基礎的模型/算法曾在這領域大行其道,像是馬可夫鍊﹝我曾經示範使用此模型於 NLP,請見此﹞。而後深度學習的神經網路和 Transformer 框架成為這個任務的主宰。

 

第三類是電腦影像辨識,其任務專注在辨識和分割圖片特定人物、場景和物體。這領域當前也是深度學習/神經網路的天下。這類 AI 能夠辨認圖片、製造合成圖片、分割出圖片中的特徵,或是透過物體與物體之間的關係推知場景的意涵。我記得我遇過有研究生就在處理這類任務,要預測照片中是垃圾或不是垃圾的物體,而人物身分辨識和超市商品識別,已經是常見的應用。醫療領域可以用來分割病患X光圖片中的異常部分。

 

其實還有隱藏的一類,只是很難歸類到以上任一,就是近年來盛行的強化學習﹝精確來說這不是一類任務,而是技術﹞。2016年打敗韓國棋王的 AlphaGo,還有進階版的 AlphaGo Zero,就是這一類型的 AI。強化學習方法強調個體 (agent) 與環境的互動和應對,訓練過程基於獎勵訊號而訓練 AI 針對環境變化採取合乎目標的行動。

 

也就是說這類 AI 非常彈性,面對環境的變化例如各種奇形怪狀的房間,或是棋手多變的棋路,都能做出合宜應對。ChatGPT 的訓練環節也包含了強化學習﹝讓他講人話的部分﹞。

 

|AI 長怎樣,取決於人們怎麼理解「智慧」

之所以會有這麼多 AI 演算法,各種奇形怪狀的神經網路、強化學習等等,是因為近年來世界克服了早期電腦算力的缺陷,所以有些方法能大行其道。AI 發展的早期歷程,大家對於仿生智慧的想像也不一樣,所以衍伸出很多 AI 學派,主流是三個:符號主義、連接主義和行為主義。

 

符號主義構建的系統基於明確決策邏輯與豐富的知識/資訊,人類的行為可以投過符號、條件和邏輯表達,他們想像的 AI 也應該類似那樣;連接主義是神經網路的開山者,打下今天 AI 機器學習的重要基礎。他們看 AI 的行動更像是神經元之間的資訊傳遞,資訊傳遞有壓縮、有權重,以及有觸發順序,在一系列處理後吐出預測結果/行動。在算力充足的時代這個學派的思想更受好評。

 

行為主義則對應到前述的強化學習,行為來自對環境的感知和反應。最終在這個算力大爆發﹝感謝NVIDIA和上下游軟硬體產業﹞的時代,神經網路更和行為主義走在一起,產生交集了。

 

不過學派之間的起起落落大是大非,就不是本章節的重點。大概講個古,知道一些 AI 的演變就好,也許能幫助我們了解眼前這些技術的本質是什麼,或許也能進一步幫我們想像 AI 未來會是哪種形式進展。

 

實務上不同 AI 任務會採用的方法、演算法,大概就是以上介紹的,隨著環境的變化、資料變異跟需求複雜度,什麼方法會主宰何種領域任務,還有很多變數,選擇喜歡戰場,多多關注學術和技術討論,會很有幫助。


本篇就講到這裡,接下來我們要介紹一系列 AI 底層的專業領域。


13會員
13內容數
大數據意味著什麼?數據科學背後有怎樣的mind set和技術?數據科學家又做些什麼?這些科技/技術,帶給我們什麼生活上和人文上的省思?這個專題會橫跨這些彼此相關的面向,避開生澀的專業詞彙,探索這些事情背後的樣貌。應該會是有趣的知識和想法分享﹝笑﹞
留言0
查看全部
發表第一個留言支持創作者!
Darren的沙龍 的其他內容
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
魔球記載MLB奧克蘭運動家隊的真實故事。該隊以小搏大,用數據思維選出一批從未被看好的球員,打出最瘋狂的佳績。 這本是經典老書了,書中細節大家已多有討論,我只著重在「統計數據」與「新舊觀念衝突」兩部分。透過魔球的精神,反思今天科技時代下「人」或「人才」的價值,我也會表達我對一個大趨勢形成的看法。
正文1,724字,主要跟你分享未來 AI 變更強更效率的兩個層面──數據與模型框架。你會從實務者的觀點,知道數據跟 AI (或機器學習模型) 表現間的關係;了解 ChatGPT 為什麼有運算資源的困擾;同時,你也會看到目前最新改善 AI 運算速度的技術發表。
去年錄製好的線上課程,今年終於上架了! 非常慚愧,在方格子平台還沒寫幾篇內容,就要先宣傳自己的課程。不過現在67折優惠,宣傳還是有必要的吧,哈!我就維持喜寫論述的習性,介紹一下這門課程,以及我在這個領域──金融商品價格預測──所看見的狀況。 好奇的可以當補充課外知識,有興趣的可以看文末的課程連結。
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
這篇來寫,嘗試用GPT4解決工作中,一個讓我渾身難受的問題。 任務說明 我要做的事情是,把word檔中表格的部分資訊擷取出來。下圖的示範表格即是一例。 我需要存取表格中特定元素資訊,例如 Net Calorific Value,我得存下Min. 4,750這個訊息,同理可知,Total Sulfur
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
魔球記載MLB奧克蘭運動家隊的真實故事。該隊以小搏大,用數據思維選出一批從未被看好的球員,打出最瘋狂的佳績。 這本是經典老書了,書中細節大家已多有討論,我只著重在「統計數據」與「新舊觀念衝突」兩部分。透過魔球的精神,反思今天科技時代下「人」或「人才」的價值,我也會表達我對一個大趨勢形成的看法。
正文1,724字,主要跟你分享未來 AI 變更強更效率的兩個層面──數據與模型框架。你會從實務者的觀點,知道數據跟 AI (或機器學習模型) 表現間的關係;了解 ChatGPT 為什麼有運算資源的困擾;同時,你也會看到目前最新改善 AI 運算速度的技術發表。
去年錄製好的線上課程,今年終於上架了! 非常慚愧,在方格子平台還沒寫幾篇內容,就要先宣傳自己的課程。不過現在67折優惠,宣傳還是有必要的吧,哈!我就維持喜寫論述的習性,介紹一下這門課程,以及我在這個領域──金融商品價格預測──所看見的狀況。 好奇的可以當補充課外知識,有興趣的可以看文末的課程連結。
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
這篇來寫,嘗試用GPT4解決工作中,一個讓我渾身難受的問題。 任務說明 我要做的事情是,把word檔中表格的部分資訊擷取出來。下圖的示範表格即是一例。 我需要存取表格中特定元素資訊,例如 Net Calorific Value,我得存下Min. 4,750這個訊息,同理可知,Total Sulfur
你可能也想看
Thumbnail
「設計不僅僅是外觀和感覺。設計是其運作的方式。」 — Steve Jobs 身為一個獨立文案,許多人會以為我們的生活只需要面對電腦,從無到有,用精巧的文字填滿空白的螢幕,呈現心目中獨具風格的作品。 ——有的時候可以如此,但其實這是我們夢寐以求的偶發日常。 更多的時候,白天的工作時間總被各種繁雜
Thumbnail
台股、美股近期明顯回檔,市場敘事發生改變,壞消息一樁接一樁出現,下一步該怎麼走呢?本文將探討近期的宏觀經濟事件,並分享個人的操作思考。
在今年的COMPUTEX展前演講中,Nvidia的首席執行官黃仁勳宣布了一個令人震驚的消息:Nvidia將從2025年開始每年更新其AI芯片。這一舉動無疑預示著一場新的工業革命正式拉開了序幕。
Thumbnail
本文揭示當前工業領域的一場無聲革命:智慧製造。在引言中,我們探討了智慧製造如何開啟生產力新紀元,隨後深入分析大數據如何加速生產過程中的創新與效率,成為本次革命的核心動力。從學術研究到現實應用,本文探討了智慧製造領域的發展脈絡,以及學界與業界共同推進的不可逆轉動能。
Thumbnail
ChatGPT 近期對 Plus 用戶釋出大量新功能,其中之一就是「Advanced Data Analysis」。許多人評斷,未來都可能被「不會寫程式」的人取代,因為人人都可以像資料科學家一樣,自由自在處理數據!相信許多讀者對 Plus 功能仍在觀望,畢竟所費不貲。筆者在這邊就示範一些功能給大家!
Thumbnail
Chatlize.ai 是由一名生物資訊學者 Steven Xijin Ge 所做,透過簡易的介面可以讓使用者輕鬆透過指令(prompt)的方式就可以輕鬆處理數據。結果不僅會直接提供程式原始碼、並執行,若有視覺化需求,它也會幫你完整視覺化。
Thumbnail
親愛的讀者朋友們, 大家好!近年來,人工智慧(AI)已經成為我們生活中不可或缺的一部分,無論是在科技、醫療、教育還是藝術領域,AI的應用無處不在。在這篇文章中,我們將帶您深入探索AI引領下的未來奇幻世界,揭示一個充滿可能性和挑戰的全新時代。 1. 創新的藝術革命:AI藝術家的誕生 從電影生成
Thumbnail
一直以來,我們在浩瀚的宇宙中尋找地外生命的任務都遇到一個重大的挑戰,那就是我們無法有效處理天文望遠鏡每15秒就產生的2GB數據。但現在,隨著AI的興起,我們能夠更有效地分析這些龐大的資料。
Thumbnail
相信大家都知道AI這個話題現在到底是有多夯,前些日子的黃仁勳之亂相信大家還都記憶猶新。今天推薦一部影片主要是講述 AI、機器學習及深度學習的概念,內容簡明扼要並又帶點幽默元素,希望非理工背景的大家都可以初步了解 AI這個概念。
Thumbnail
在這個科技日新月異的時代,人工智慧投資熱潮席捲全球,吸引了無數投資者的目光。然而,科博工作室馬博泰提醒大家,AI投資熱潮並不一定能帶來金錢收益,相較之下,賣鏟子十字鎬等傳統行業的收益更為穩定。那麼,投資者該如何看待AI投資熱潮呢?本文將從美國加州淘金熱的歷史出發,探討AI投資熱潮背後的真相。
Thumbnail
幾天前Sundar Pichai與夥伴受訪,對人工智慧做了總整理,這四個重點,能幫助我們重溫人與AI的關係。
Thumbnail
廣告背後的惡意「潛伏者」,如點擊農場、惡意程式、仿真機器人所帶來的垃圾流量正在鯨吞蠶食行銷效益,為全球品牌與客戶帶來巨大威脅
Thumbnail
「設計不僅僅是外觀和感覺。設計是其運作的方式。」 — Steve Jobs 身為一個獨立文案,許多人會以為我們的生活只需要面對電腦,從無到有,用精巧的文字填滿空白的螢幕,呈現心目中獨具風格的作品。 ——有的時候可以如此,但其實這是我們夢寐以求的偶發日常。 更多的時候,白天的工作時間總被各種繁雜
Thumbnail
台股、美股近期明顯回檔,市場敘事發生改變,壞消息一樁接一樁出現,下一步該怎麼走呢?本文將探討近期的宏觀經濟事件,並分享個人的操作思考。
在今年的COMPUTEX展前演講中,Nvidia的首席執行官黃仁勳宣布了一個令人震驚的消息:Nvidia將從2025年開始每年更新其AI芯片。這一舉動無疑預示著一場新的工業革命正式拉開了序幕。
Thumbnail
本文揭示當前工業領域的一場無聲革命:智慧製造。在引言中,我們探討了智慧製造如何開啟生產力新紀元,隨後深入分析大數據如何加速生產過程中的創新與效率,成為本次革命的核心動力。從學術研究到現實應用,本文探討了智慧製造領域的發展脈絡,以及學界與業界共同推進的不可逆轉動能。
Thumbnail
ChatGPT 近期對 Plus 用戶釋出大量新功能,其中之一就是「Advanced Data Analysis」。許多人評斷,未來都可能被「不會寫程式」的人取代,因為人人都可以像資料科學家一樣,自由自在處理數據!相信許多讀者對 Plus 功能仍在觀望,畢竟所費不貲。筆者在這邊就示範一些功能給大家!
Thumbnail
Chatlize.ai 是由一名生物資訊學者 Steven Xijin Ge 所做,透過簡易的介面可以讓使用者輕鬆透過指令(prompt)的方式就可以輕鬆處理數據。結果不僅會直接提供程式原始碼、並執行,若有視覺化需求,它也會幫你完整視覺化。
Thumbnail
親愛的讀者朋友們, 大家好!近年來,人工智慧(AI)已經成為我們生活中不可或缺的一部分,無論是在科技、醫療、教育還是藝術領域,AI的應用無處不在。在這篇文章中,我們將帶您深入探索AI引領下的未來奇幻世界,揭示一個充滿可能性和挑戰的全新時代。 1. 創新的藝術革命:AI藝術家的誕生 從電影生成
Thumbnail
一直以來,我們在浩瀚的宇宙中尋找地外生命的任務都遇到一個重大的挑戰,那就是我們無法有效處理天文望遠鏡每15秒就產生的2GB數據。但現在,隨著AI的興起,我們能夠更有效地分析這些龐大的資料。
Thumbnail
相信大家都知道AI這個話題現在到底是有多夯,前些日子的黃仁勳之亂相信大家還都記憶猶新。今天推薦一部影片主要是講述 AI、機器學習及深度學習的概念,內容簡明扼要並又帶點幽默元素,希望非理工背景的大家都可以初步了解 AI這個概念。
Thumbnail
在這個科技日新月異的時代,人工智慧投資熱潮席捲全球,吸引了無數投資者的目光。然而,科博工作室馬博泰提醒大家,AI投資熱潮並不一定能帶來金錢收益,相較之下,賣鏟子十字鎬等傳統行業的收益更為穩定。那麼,投資者該如何看待AI投資熱潮呢?本文將從美國加州淘金熱的歷史出發,探討AI投資熱潮背後的真相。
Thumbnail
幾天前Sundar Pichai與夥伴受訪,對人工智慧做了總整理,這四個重點,能幫助我們重溫人與AI的關係。
Thumbnail
廣告背後的惡意「潛伏者」,如點擊農場、惡意程式、仿真機器人所帶來的垃圾流量正在鯨吞蠶食行銷效益,為全球品牌與客戶帶來巨大威脅