【IPAS 考前必備知識 #2】資料切分三兄弟:教科書、模擬考與正式大考

更新於 發佈於 閱讀時間約 2 分鐘
raw-image


昨天我們搞懂了 AI 的四大學習類型後,今天,我們來解決下一個讓無數新手頭痛的大魔王:「為什麼資料不能全部丟進去訓練?」

這絕對是 IPAS 考試中,用來區分「門外漢」與「內行人」的關鍵觀念題。

請記住這個將讓你永生難忘的比喻:

AI 學習 = 學生讀書考試

  • 訓練集 (Training Set) ↔ 你的「教科書」與「課堂練習題」 這是模型學習知識和規律的地方。就像我們唸書時,需要大量閱讀課本、做習題來打好基礎。模型的絕大部分時間,都花在「讀」這份資料上。
  • 驗證集 (Validation Set) ↔ 你的「模擬考」 當你讀完書後,會做模擬考來檢視學習成效,並調整讀書方法(例如:該加強哪個章節?)。同理,模型會用驗證集來調整自己的「超參數」(可以理解為模型的學習策略),看看怎樣的策略組合能拿到最高分。注意:模擬考的分數,不能當作你真正的實力。
  • 測試集 (Test Set) ↔ 你的「正式大考」 這是模型從未見過的全新題目,用來評估模型的「真實最終實力」。就像我們在學測、指考中拿到的成績,才是評斷我們學習成果的最終標準。這份考卷的分數,才是模型的最終成績。

最重要的觀念:資料洩漏 (Data Leakage)

如果你在訓練過程中,讓模型「偷看到」了測試集的答案(例如:先對全部資料做了標準化才切分),就如同你拿著答案去考正式大考,分數再高都是假的、是作弊!這在 AI 領域是超級大忌!


在下一篇我們將拆解最頭痛、也最重要的「模型擬合」問題,判斷你的模型究竟是學霸,還是只會死背書的書呆子!

👉想一次擁有所有觀念的完整對照表與考前精華。在我們的【IPAS 考前終極衝刺包】裡,有更深入的整理。


一起跟Lun,陪你玩轉 AI 新世代。


*本內容為個人學習筆記,非官方資訊,僅供參考,請以 iPAS 官方公告為準。


留言
avatar-img
留言分享你的想法!
avatar-img
Lun.AI 🤖 玩轉 AI ⚡️
1會員
5內容數
Lun.AI 🤖 玩轉 AI、聰明解題 ⚡️ 以人人都能懂的方式,普及 AI 應用,讓技術真正服務於人的真實需求。 堅持用最平易近人的方式溝通,掃除學習障礙。 團隊 AI 賦能 · 培訓 × 工具 × 實戰✨ 從焦慮到上手,打造可落地的 AI 能力 👇 Lun.AI 🤖 教你 #AI實作 #學習&職場升級 💪
你可能也想看
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 總結一下目前有的素材: AI說書 - 從0開始 - 103:資料集載入 AI說書 - 從0開始 - 104:定義資料清洗的函數 AI說書 - 從0開始 - 105
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 總結一下目前有的素材: AI說書 - 從0開始 - 103:資料集載入 AI說書 - 從0開始 - 104:定義資料清洗的函數 AI說書 - 從0開始 - 105
Thumbnail
今天想分享我怎麼「用 AI 設計一個學習流程」讓我把學過的英文「真的記住,並且用的出來」 這個過程不會碰到複雜的技術,只需結合基本學習原則,還有在ChatGPT用中文下指令的技巧,這樣你以後就可以針對自己想學的英文內容設計客製化的學習材料跟練習過程喔!
Thumbnail
今天想分享我怎麼「用 AI 設計一個學習流程」讓我把學過的英文「真的記住,並且用的出來」 這個過程不會碰到複雜的技術,只需結合基本學習原則,還有在ChatGPT用中文下指令的技巧,這樣你以後就可以針對自己想學的英文內容設計客製化的學習材料跟練習過程喔!
Thumbnail
因為 AI 領域的技術不斷地迭代更新,無法避免的是需要一直去追新的技術 並且需要在一個有限的時間學會,或是實作應用導入到專案之中。 那我覺得在學習新技術可通過以下步驟: 1. 找一個讀得懂的教學資源 現在網路上的教學資源很多,或是書籍的資源也很豐富, 同時也有像是 chatgpt 的 AI
Thumbnail
因為 AI 領域的技術不斷地迭代更新,無法避免的是需要一直去追新的技術 並且需要在一個有限的時間學會,或是實作應用導入到專案之中。 那我覺得在學習新技術可通過以下步驟: 1. 找一個讀得懂的教學資源 現在網路上的教學資源很多,或是書籍的資源也很豐富, 同時也有像是 chatgpt 的 AI
Thumbnail
在開始學習計畫前的三個問題 為什麼學? 該學什麼? 如何去學? 為什麼學的主要歸類 本質性的學習 為了學習而去學習 不確定將來如何使用 功能性的學習 學習這個技能或主題可以幫助自己達成目標 該學什麼? 概念 若某些事物需要被理解而非只是記憶,就屬於概念 ex: 學習人工智能
Thumbnail
在開始學習計畫前的三個問題 為什麼學? 該學什麼? 如何去學? 為什麼學的主要歸類 本質性的學習 為了學習而去學習 不確定將來如何使用 功能性的學習 學習這個技能或主題可以幫助自己達成目標 該學什麼? 概念 若某些事物需要被理解而非只是記憶,就屬於概念 ex: 學習人工智能
Thumbnail
我的第一堂AI繪圖寫作課是一場災難,許多沒有設想到的情形一個接一個冒出來,搞得我焦頭爛額。經過幾堂課以後,我才慢慢掌握訣竅。以下分別就課程規劃、常見地雷及目前使用的練習方法來分享……
Thumbnail
我的第一堂AI繪圖寫作課是一場災難,許多沒有設想到的情形一個接一個冒出來,搞得我焦頭爛額。經過幾堂課以後,我才慢慢掌握訣竅。以下分別就課程規劃、常見地雷及目前使用的練習方法來分享……
Thumbnail
AI不僅能生成寫作範文,還能設計出符合教學目標的工作紙,分擔老師日常繁重的工作。
Thumbnail
AI不僅能生成寫作範文,還能設計出符合教學目標的工作紙,分擔老師日常繁重的工作。
Thumbnail
延續上週提到的,「有哪些不訓練模型的情況下,能夠強化語言模型的能力」,這堂課接續介紹其中第 3、4 個方法
Thumbnail
延續上週提到的,「有哪些不訓練模型的情況下,能夠強化語言模型的能力」,這堂課接續介紹其中第 3、4 個方法
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News