解密 AI 與資料科學 (二) : AI 的類型與實戰場景

閱讀時間約 4 分鐘

raw-image


前一篇文章,介紹了 AI 領域的分工以及不同崗位上的關鍵腳色。這篇文章要介紹 AI 的種類/類型,及其各種實戰應用的場域。


|資料科學與AI的戰場

人們對 AI 的普遍理解,可能是像 ChatGPT 那類能講講話、畫圖、創作影片的工具。但其實 AI 種類很多,任務各不相同,而且早已深入生活很多層面了。借款人違約預測、都市交通管理、生成假圖、客服小幫手……。所以想投入 AI 領域的研發和技術底層,得先了解戰場,戰場決定學習方向。

 

就我心得,AI 任務主要有三類,不同任務會面對的資料型態,甚至採用的經典演算法都不相同。第一種是數值型資料,顧名思義其資料都是各種連續或離散的數字,銀行的違約機率預測、工廠機具磨損率、複雜機械壞損原因預測等,都是AI的任務。這類任務蠻經常使用經典機器學習演算法,當然近年來熱門的深度學習跟強化學習也不是沒機會,應用場景畢竟不是死的。而關於這些算法,我後面篇章會再介紹詳細一點。

 

這類任務中又有一個獨特的議題──時間序列。時間序列資料是按照時間戳記做記錄的,像是價格、天氣預測或計量經濟數據都屬於這類。此類數學型態特殊,每一筆資料之間都有連動與相關性,因此影響或破壞傳統統計的特性﹝假設每筆樣本互相獨立﹞,也就衍伸出專門的研究方法。近年來很多學派與方法,如貝葉斯和深度學習等都投入應用。這也是我從大學到工作一直主攻的。

 

第二類我打算用 NLP﹝Natural Language Processing,自然語言處理﹞來定義。這類任務主要讓電腦能解譯、理解和操作人類的語言。人類語言的類型沒有明確規範,總之是包含聽說讀寫的層面,技術上來說就是文字、聲音和影片等非結構化的數據。

 

其實大家對此應該最熟悉,我們會議軟體裡面的聲音轉文字、新聞的情緒分析和智能小客服都在 NLP 的範圍,包含近年奮發突起的 ChatGPT 也是其代表作。統計為基礎的模型/算法曾在這領域大行其道,像是馬可夫鍊﹝我曾經示範使用此模型於 NLP,請見此﹞。而後深度學習的神經網路和 Transformer 框架成為這個任務的主宰。

 

第三類是電腦影像辨識,其任務專注在辨識和分割圖片特定人物、場景和物體。這領域當前也是深度學習/神經網路的天下。這類 AI 能夠辨認圖片、製造合成圖片、分割出圖片中的特徵,或是透過物體與物體之間的關係推知場景的意涵。我記得我遇過有研究生就在處理這類任務,要預測照片中是垃圾或不是垃圾的物體,而人物身分辨識和超市商品識別,已經是常見的應用。醫療領域可以用來分割病患X光圖片中的異常部分。

 

其實還有隱藏的一類,只是很難歸類到以上任一,就是近年來盛行的強化學習﹝精確來說這不是一類任務,而是技術﹞。2016年打敗韓國棋王的 AlphaGo,還有進階版的 AlphaGo Zero,就是這一類型的 AI。強化學習方法強調個體 (agent) 與環境的互動和應對,訓練過程基於獎勵訊號而訓練 AI 針對環境變化採取合乎目標的行動。

 

也就是說這類 AI 非常彈性,面對環境的變化例如各種奇形怪狀的房間,或是棋手多變的棋路,都能做出合宜應對。ChatGPT 的訓練環節也包含了強化學習﹝讓他講人話的部分﹞。

 

|AI 長怎樣,取決於人們怎麼理解「智慧」

之所以會有這麼多 AI 演算法,各種奇形怪狀的神經網路、強化學習等等,是因為近年來世界克服了早期電腦算力的缺陷,所以有些方法能大行其道。AI 發展的早期歷程,大家對於仿生智慧的想像也不一樣,所以衍伸出很多 AI 學派,主流是三個:符號主義、連接主義和行為主義。

 

符號主義構建的系統基於明確決策邏輯與豐富的知識/資訊,人類的行為可以投過符號、條件和邏輯表達,他們想像的 AI 也應該類似那樣;連接主義是神經網路的開山者,打下今天 AI 機器學習的重要基礎。他們看 AI 的行動更像是神經元之間的資訊傳遞,資訊傳遞有壓縮、有權重,以及有觸發順序,在一系列處理後吐出預測結果/行動。在算力充足的時代這個學派的思想更受好評。

 

行為主義則對應到前述的強化學習,行為來自對環境的感知和反應。最終在這個算力大爆發﹝感謝NVIDIA和上下游軟硬體產業﹞的時代,神經網路更和行為主義走在一起,產生交集了。

 

不過學派之間的起起落落大是大非,就不是本章節的重點。大概講個古,知道一些 AI 的演變就好,也許能幫助我們了解眼前這些技術的本質是什麼,或許也能進一步幫我們想像 AI 未來會是哪種形式進展。

 

實務上不同 AI 任務會採用的方法、演算法,大概就是以上介紹的,隨著環境的變化、資料變異跟需求複雜度,什麼方法會主宰何種領域任務,還有很多變數,選擇喜歡戰場,多多關注學術和技術討論,會很有幫助。


本篇就講到這裡,接下來我們要介紹一系列 AI 底層的專業領域。


avatar-img
14會員
14內容數
大數據意味著什麼?數據科學背後有怎樣的mind set和技術?數據科學家又做些什麼?這些科技/技術,帶給我們什麼生活上和人文上的省思?這個專題會橫跨這些彼此相關的面向,避開生澀的專業詞彙,探索這些事情背後的樣貌。應該會是有趣的知識和想法分享﹝笑﹞
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Darren的沙龍 的其他內容
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
魔球記載MLB奧克蘭運動家隊的真實故事。該隊以小搏大,用數據思維選出一批從未被看好的球員,打出最瘋狂的佳績。 這本是經典老書了,書中細節大家已多有討論,我只著重在「統計數據」與「新舊觀念衝突」兩部分。透過魔球的精神,反思今天科技時代下「人」或「人才」的價值,我也會表達我對一個大趨勢形成的看法。
正文1,724字,主要跟你分享未來 AI 變更強更效率的兩個層面──數據與模型框架。你會從實務者的觀點,知道數據跟 AI (或機器學習模型) 表現間的關係;了解 ChatGPT 為什麼有運算資源的困擾;同時,你也會看到目前最新改善 AI 運算速度的技術發表。
去年錄製好的線上課程,今年終於上架了! 非常慚愧,在方格子平台還沒寫幾篇內容,就要先宣傳自己的課程。不過現在67折優惠,宣傳還是有必要的吧,哈!我就維持喜寫論述的習性,介紹一下這門課程,以及我在這個領域──金融商品價格預測──所看見的狀況。 好奇的可以當補充課外知識,有興趣的可以看文末的課程連結。
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
這篇來寫,嘗試用GPT4解決工作中,一個讓我渾身難受的問題。 任務說明 我要做的事情是,把word檔中表格的部分資訊擷取出來。下圖的示範表格即是一例。 我需要存取表格中特定元素資訊,例如 Net Calorific Value,我得存下Min. 4,750這個訊息,同理可知,Total Sulfur
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
魔球記載MLB奧克蘭運動家隊的真實故事。該隊以小搏大,用數據思維選出一批從未被看好的球員,打出最瘋狂的佳績。 這本是經典老書了,書中細節大家已多有討論,我只著重在「統計數據」與「新舊觀念衝突」兩部分。透過魔球的精神,反思今天科技時代下「人」或「人才」的價值,我也會表達我對一個大趨勢形成的看法。
正文1,724字,主要跟你分享未來 AI 變更強更效率的兩個層面──數據與模型框架。你會從實務者的觀點,知道數據跟 AI (或機器學習模型) 表現間的關係;了解 ChatGPT 為什麼有運算資源的困擾;同時,你也會看到目前最新改善 AI 運算速度的技術發表。
去年錄製好的線上課程,今年終於上架了! 非常慚愧,在方格子平台還沒寫幾篇內容,就要先宣傳自己的課程。不過現在67折優惠,宣傳還是有必要的吧,哈!我就維持喜寫論述的習性,介紹一下這門課程,以及我在這個領域──金融商品價格預測──所看見的狀況。 好奇的可以當補充課外知識,有興趣的可以看文末的課程連結。
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
這篇來寫,嘗試用GPT4解決工作中,一個讓我渾身難受的問題。 任務說明 我要做的事情是,把word檔中表格的部分資訊擷取出來。下圖的示範表格即是一例。 我需要存取表格中特定元素資訊,例如 Net Calorific Value,我得存下Min. 4,750這個訊息,同理可知,Total Sulfur
你可能也想看
Google News 追蹤
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
在當今快速變化的數位時代,企業面臨著前所未有的數據處理需求。為了應對這些挑戰,企業紛紛建立自己的大型語言模型(LLM),利用大量數據進行訓練,讓模型能夠理解並生成自然語言,從而實現人機協作,優化業務流程並提升客戶體驗。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
在當今快速發展的技術時代,人工智能 Artificial Intelligence 和機器學習 Machine Learning 已成為推動業務創新和增長的重要力量。從改善客戶服務到優化運營流程,AI和ML的應用範圍日益廣泛,為企業創造出前所未有的機會。企業又可如何利用AI和ML提升業務呢?
Thumbnail
你對 AI 的認識有多少?你在生活或工作上有運用哪些 AI 的應用服務嗎?一起來了解這個目前很夯的議題。 根據 google 對 AI(artificial intelligence,縮寫為AI)的解釋:AI 是人工智慧,定義是打造電腦與機器的科學領域,可以進行推論、學習以及採取行動。這些過往需要
大語言模型能夠生成文本,因此被認為是生成式人工智慧的一種形式。 人工智慧的學科任務,是製作機器,使其能執行需要人類智慧才能執行的任務,例如理解語言,便是模式,做出決策。 除了大語言模型,人工智慧也包含了深度學習以及機器學習。 機器學習的學科任務,是透過演算法來實踐AI。 特別
Thumbnail
已經成真的AI生成文字、圖片、音樂、影片,以及接下來更多的AI運用場景,每一項都將對人類社會產生重大的影響:包括抽象的人心、文化、審美、親密關係,以及實質的就業、經濟、生活、生涯規劃等。 本文我會以大量使用、測試AI的經驗,輔以田野調查的經驗,詳細說明AI時代最應該培養的四項能力。
Thumbnail
數位化時代中,人工智能(AI)已成為推動創新和進步的關鍵力量。本文探討AI的現狀、挑戰以及未來可能性,並提出負責任地發展和使用AI的思考。
Thumbnail
AI 是人工智能 (Artificial Intelligence) 的縮寫。它指一種模擬、模仿人類智能的技術與系統。主要使機器能夠執行需要人類智慧才能完成的任務。應用於各領域,包括自動駕駛車輛、語音助手、推薦系統、金融分析、醫學診斷、工業自動化等。不僅可提高效率和準確性,還可解決複雜的問題和挑戰。
Thumbnail
本文將探討人工智能對生活上的影響和改變,同時,例如規劃時間,安排選擇等等,附上一些建議與推薦工具。 在今天,大語言模型開通全球,我們可以輕易的使用人工智能對話,和他們對話,交流,討論,但是,除了娛樂以外,在生活上,我們還有什麼用法呢?
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
在當今快速變化的數位時代,企業面臨著前所未有的數據處理需求。為了應對這些挑戰,企業紛紛建立自己的大型語言模型(LLM),利用大量數據進行訓練,讓模型能夠理解並生成自然語言,從而實現人機協作,優化業務流程並提升客戶體驗。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
在當今快速發展的技術時代,人工智能 Artificial Intelligence 和機器學習 Machine Learning 已成為推動業務創新和增長的重要力量。從改善客戶服務到優化運營流程,AI和ML的應用範圍日益廣泛,為企業創造出前所未有的機會。企業又可如何利用AI和ML提升業務呢?
Thumbnail
你對 AI 的認識有多少?你在生活或工作上有運用哪些 AI 的應用服務嗎?一起來了解這個目前很夯的議題。 根據 google 對 AI(artificial intelligence,縮寫為AI)的解釋:AI 是人工智慧,定義是打造電腦與機器的科學領域,可以進行推論、學習以及採取行動。這些過往需要
大語言模型能夠生成文本,因此被認為是生成式人工智慧的一種形式。 人工智慧的學科任務,是製作機器,使其能執行需要人類智慧才能執行的任務,例如理解語言,便是模式,做出決策。 除了大語言模型,人工智慧也包含了深度學習以及機器學習。 機器學習的學科任務,是透過演算法來實踐AI。 特別
Thumbnail
已經成真的AI生成文字、圖片、音樂、影片,以及接下來更多的AI運用場景,每一項都將對人類社會產生重大的影響:包括抽象的人心、文化、審美、親密關係,以及實質的就業、經濟、生活、生涯規劃等。 本文我會以大量使用、測試AI的經驗,輔以田野調查的經驗,詳細說明AI時代最應該培養的四項能力。
Thumbnail
數位化時代中,人工智能(AI)已成為推動創新和進步的關鍵力量。本文探討AI的現狀、挑戰以及未來可能性,並提出負責任地發展和使用AI的思考。
Thumbnail
AI 是人工智能 (Artificial Intelligence) 的縮寫。它指一種模擬、模仿人類智能的技術與系統。主要使機器能夠執行需要人類智慧才能完成的任務。應用於各領域,包括自動駕駛車輛、語音助手、推薦系統、金融分析、醫學診斷、工業自動化等。不僅可提高效率和準確性,還可解決複雜的問題和挑戰。
Thumbnail
本文將探討人工智能對生活上的影響和改變,同時,例如規劃時間,安排選擇等等,附上一些建議與推薦工具。 在今天,大語言模型開通全球,我們可以輕易的使用人工智能對話,和他們對話,交流,討論,但是,除了娛樂以外,在生活上,我們還有什麼用法呢?