《從零開始的資料科學筆記》Day#11:機器學習概述

更新 發佈閱讀 5 分鐘
raw-image

🔍 為什麼要學機器學習?

在這個資料驅動的時代,從圖像辨識、語音助手到金融風險預測,都離不開機器學習。 透過「從資料中自動學習規則」的能力,機器學習幫助我們:

  • 自動化決策流程(例如:信貸核准)
  • 從龐大資料中發現趨勢與模式(例如:顧客行為分析)
  • 增強傳統演算法的適應力與預測能力

🤔 機器學習是什麼?

機器學習(Machine Learning, ML)是一門讓電腦不需明確編程即可從數據中學習與預測的技術。

它與傳統程式的差異:

raw-image

💡 人工智慧(AI)發展簡史

人工智慧的發展最早可追朔到1950年代,Alan Turing提出有名的"圖靈測試",目的是要測試能否透過對話來分辨回答者是機器還是人類。當時的技術主要是以簡單"邏輯導向"來驅使機器。

到了1980年代則開始以"規則導向"為主,也就是結合領域知識的專家系統,此時的人工智慧系統由於融入許多專家知識與經驗所整合出的判斷規則,因此預測能力遠大於早期的邏輯導向技術。

目前很熱門的"神經網路技術"早在1980年代就出現了,只是當時電腦運算能力不佳,導致空有技術但無法實際應用,因此被埋沒很長一段時間。 隨著電腦運算能力的不斷提升,到了2010年代神經網路技術終於開始嶄露頭角,這種以神經網路為基礎,從資料中自動學習的技術逐漸遍地開花。時至今日,熱門的AI技術仍然以神經網路為主,也稱為"深度學習"。 

raw-image
raw-image

人工智慧技術發展

raw-image

🧭 機器學習的三大類型

1️⃣ 監督式學習(Supervised Learning)

定義:有「標記過」的資料(有正確答案),模型學習輸入到輸出的映射關係。

raw-image

應用:

  • 分類(Classification):判斷圖片中的物體是貓還是狗。
  • 迴歸(Regression):根據地段、坪數預測房價。
raw-image

2️⃣ 非監督式學習(Unsupervised Learning)

定義:資料沒有標籤,模型學習資料的內部結構與分群邏輯。 

raw-image

應用:

  • 群聚分析(Clustering):找出顧客分群、辨別相似族群
  • 維度縮減(Dimensionality Reduction):資料視覺化(例如 PCA)
raw-image

3️⃣ 強化學習(Reinforcement Learning)

定義:透過不斷地試錯學習,讓模型在環境中獲得「獎勵」以學習最佳策略,與人類的學習方式最相近。 

raw-image

應用:

  • 機器人學投籃、自駕車
  • 圍棋、Atari 遊戲對戰
raw-image

⚠️ 本文主要專注在 監督式與非監督式學習。

📌 機器學習應用場景與代表任務

raw-image

📂 常見開源資料集簡介

raw-image

🧰 常用套件介紹

raw-image

機器學習流程(Workflow)

0. ❓問題定義 (Task Definition)

  • 思考想解決的問題
  • 再定義成機器學習任務

1. 📥 資料收集(Data Collection)

  • 來源:CSV 檔、資料庫、API、感測器、開源資料集

📚工具:pandas、SQL、requests、kaggle API

2. 🧹 資料前處理(Data Preprocessing)

  • 處理缺失值、異常值
  • 數值/類別欄位轉換
  • 去除重複值、標準化欄位名稱

📚 工具:pandas、numpy、matplotlib

3. 🏗️ 特徵工程(Feature Engineering)

  • 特徵選擇 / 創造新特徵
  • One-hot 編碼、標準化、數值分箱
  • 降維(PCA)或統計摘要

4. 🧠 模型訓練(Model Training)

  • 將處理好的資料分為訓練集與測試集
  • 選擇適合的演算法訓練模型(ex: 決策樹、邏輯回歸)

5. 📏 模型評估(Model Evaluation)

  • 用評估指標判斷模型好壞
  • 常見指標:Accuracy, Precision, Recall, F1-score, RMSE

6. 🛠️ 調參與優化(Hyperparameter Tuning)

  • 使用 Grid Search、Random Search、交叉驗證
  • 提升模型泛化能力與效能

7. 🌐 模型部署(Deployment)

  • 將訓練好的模型部屬於伺服器或 Web API

8. 🚀 模型推論 (Inference)

  • 將要預測的新資料丟入已部署好的模型中運算並得到結果
留言
avatar-img
留言分享你的想法!
avatar-img
Ethan的AI學習筆記
4會員
26內容數
我是一個不務正業的資料科學家,從零開始學習的路途上跌跌撞撞,跌過許多坑,也撞過許多牆... 當有人迷失方向時,希望這些筆記可以成為你的指南針。
Ethan的AI學習筆記的其他內容
2025/06/27
在輔導學員的時候遇過很多初學者會搞不清楚到底模型是什麼?訓練又是怎麼一回事? 因此這篇文章主要是提供初學者一些簡單的概念,知道”模型”和”訓練”是在做什麼,不涉及程式碼撰寫與執行。 希望藉由簡單的說明讓大家可以先了解這些基本概念,可以加快後續實際操作上手的時間。
Thumbnail
2025/06/27
在輔導學員的時候遇過很多初學者會搞不清楚到底模型是什麼?訓練又是怎麼一回事? 因此這篇文章主要是提供初學者一些簡單的概念,知道”模型”和”訓練”是在做什麼,不涉及程式碼撰寫與執行。 希望藉由簡單的說明讓大家可以先了解這些基本概念,可以加快後續實際操作上手的時間。
Thumbnail
2025/06/23
🙋‍♀️ 什麼是特徵(Feature)? 想像一個情境: 你想領養一隻小狗,到了收容所後,該怎麼跟承辦人員描述你想要的狗狗呢? 你可能會說:「我想要一隻可愛的小狗。」 但這樣的描述太模糊了,對方可能無法立刻理解你的偏好。
Thumbnail
2025/06/23
🙋‍♀️ 什麼是特徵(Feature)? 想像一個情境: 你想領養一隻小狗,到了收容所後,該怎麼跟承辦人員描述你想要的狗狗呢? 你可能會說:「我想要一隻可愛的小狗。」 但這樣的描述太模糊了,對方可能無法立刻理解你的偏好。
Thumbnail
2025/06/18
好不容易學習完資料科學三大基礎套件(NumPy / Pandas / Matplotlib)之後,就可以開始學習什麼是資料前處理(Data Preprocessing)、為什麼要做?、以及怎麼做?
Thumbnail
2025/06/18
好不容易學習完資料科學三大基礎套件(NumPy / Pandas / Matplotlib)之後,就可以開始學習什麼是資料前處理(Data Preprocessing)、為什麼要做?、以及怎麼做?
Thumbnail
看更多
你可能也想看
Thumbnail
蝦皮分潤計畫讓我在分享旅遊文章時,也能透過推薦好物累積被動收入,貼補旅行基金。這篇文章,除了介紹計畫的操作亮點與心得,也分享我最常應用的案例:「旅行必備小物 TOP5」,包含行李鎖、免洗內衣褲、分裝瓶、折疊衣架與真空壓縮袋,幫助出國打包更輕鬆。想同時記錄旅行、分享好物又創造額外收入的你,千萬別錯過!
Thumbnail
蝦皮分潤計畫讓我在分享旅遊文章時,也能透過推薦好物累積被動收入,貼補旅行基金。這篇文章,除了介紹計畫的操作亮點與心得,也分享我最常應用的案例:「旅行必備小物 TOP5」,包含行李鎖、免洗內衣褲、分裝瓶、折疊衣架與真空壓縮袋,幫助出國打包更輕鬆。想同時記錄旅行、分享好物又創造額外收入的你,千萬別錯過!
Thumbnail
想增加被動收入?加入蝦皮分潤計畫是輕鬆上手的好方法!本文提供完整教學,包含申請流程、賺取分潤技巧,以及實際使用心得分享,助你輕鬆獲得額外收入。
Thumbnail
想增加被動收入?加入蝦皮分潤計畫是輕鬆上手的好方法!本文提供完整教學,包含申請流程、賺取分潤技巧,以及實際使用心得分享,助你輕鬆獲得額外收入。
Thumbnail
在當今快速變化的數位時代,企業面臨著前所未有的數據處理需求。為了應對這些挑戰,企業紛紛建立自己的大型語言模型(LLM),利用大量數據進行訓練,讓模型能夠理解並生成自然語言,從而實現人機協作,優化業務流程並提升客戶體驗。
Thumbnail
在當今快速變化的數位時代,企業面臨著前所未有的數據處理需求。為了應對這些挑戰,企業紛紛建立自己的大型語言模型(LLM),利用大量數據進行訓練,讓模型能夠理解並生成自然語言,從而實現人機協作,優化業務流程並提升客戶體驗。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
人工智慧是什麼? 人工智慧(Artificial Intelligence, AI) 簡單來說,就是讓機器模仿人類的思考、學習和決策的能力。它就像是一個聰明的電腦程序,可以執行許多原本需要人類智慧才能完成的工作,例如: 語音辨識: 讓電腦聽懂人類的語言,像是 Siri、Google As
Thumbnail
人工智慧是什麼? 人工智慧(Artificial Intelligence, AI) 簡單來說,就是讓機器模仿人類的思考、學習和決策的能力。它就像是一個聰明的電腦程序,可以執行許多原本需要人類智慧才能完成的工作,例如: 語音辨識: 讓電腦聽懂人類的語言,像是 Siri、Google As
Thumbnail
在當今快速發展的技術時代,人工智能 Artificial Intelligence 和機器學習 Machine Learning 已成為推動業務創新和增長的重要力量。從改善客戶服務到優化運營流程,AI和ML的應用範圍日益廣泛,為企業創造出前所未有的機會。企業又可如何利用AI和ML提升業務呢?
Thumbnail
在當今快速發展的技術時代,人工智能 Artificial Intelligence 和機器學習 Machine Learning 已成為推動業務創新和增長的重要力量。從改善客戶服務到優化運營流程,AI和ML的應用範圍日益廣泛,為企業創造出前所未有的機會。企業又可如何利用AI和ML提升業務呢?
Thumbnail
本文要探討AI的任務與實戰場景。AI技術已深入生活各層面,從違約預測到都市交通管理。AI任務主要有三類:數值型資料處理、自然語言處理(NLP)和電腦影像辨識。時間序列資料和強化學習方法(如AlphaGo)也引起廣泛關注。AI演算法和方法因應不同學派和技術發展而多樣化,了解這些基礎有助選擇適合研究方向
Thumbnail
本文要探討AI的任務與實戰場景。AI技術已深入生活各層面,從違約預測到都市交通管理。AI任務主要有三類:數值型資料處理、自然語言處理(NLP)和電腦影像辨識。時間序列資料和強化學習方法(如AlphaGo)也引起廣泛關注。AI演算法和方法因應不同學派和技術發展而多樣化,了解這些基礎有助選擇適合研究方向
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
最新的AI趨勢讓人眼花撩亂,不知要如何開始學習?本文介紹了作者對AI的使用和體驗,以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具,可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心,不停止學習,並提出了對健康生活和開心生活的祝福。
Thumbnail
最新的AI趨勢讓人眼花撩亂,不知要如何開始學習?本文介紹了作者對AI的使用和體驗,以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具,可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心,不停止學習,並提出了對健康生活和開心生活的祝福。
Thumbnail
AI,全稱人工智慧,是指讓電腦或機器具備類似人類的智慧和能力的科學和技術。AI 可以幫助我們解決各種問題,提高效率,創造價值,甚至改變世界。但是,你知道 AI 是如何運作的嗎?你知道 AI 的歷史和未來嗎?你知道 AI 的優點和挑戰嗎?在這篇文章中,我將帶你一起認識 AI 的基本概念和發展。
Thumbnail
AI,全稱人工智慧,是指讓電腦或機器具備類似人類的智慧和能力的科學和技術。AI 可以幫助我們解決各種問題,提高效率,創造價值,甚至改變世界。但是,你知道 AI 是如何運作的嗎?你知道 AI 的歷史和未來嗎?你知道 AI 的優點和挑戰嗎?在這篇文章中,我將帶你一起認識 AI 的基本概念和發展。
Thumbnail
AI 是人工智能 (Artificial Intelligence) 的縮寫。它指一種模擬、模仿人類智能的技術與系統。主要使機器能夠執行需要人類智慧才能完成的任務。應用於各領域,包括自動駕駛車輛、語音助手、推薦系統、金融分析、醫學診斷、工業自動化等。不僅可提高效率和準確性,還可解決複雜的問題和挑戰。
Thumbnail
AI 是人工智能 (Artificial Intelligence) 的縮寫。它指一種模擬、模仿人類智能的技術與系統。主要使機器能夠執行需要人類智慧才能完成的任務。應用於各領域,包括自動駕駛車輛、語音助手、推薦系統、金融分析、醫學診斷、工業自動化等。不僅可提高效率和準確性,還可解決複雜的問題和挑戰。
Thumbnail
2023年被世人稱做生成式AI世代的元年,各式各樣的AI工具不斷湧現,改變了人們的生活。本文將詳細介紹人工智慧和機器學習的相關知識,以及各種人工智慧和機器學習的實現方法。
Thumbnail
2023年被世人稱做生成式AI世代的元年,各式各樣的AI工具不斷湧現,改變了人們的生活。本文將詳細介紹人工智慧和機器學習的相關知識,以及各種人工智慧和機器學習的實現方法。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News