嗨 我是CCChen
預計11/08參加AI中級第二場考試
本次學習策略是閱讀專業書本,增加知識累積量.同時運用AI提示詞優化設計,嘗試自動化整理閱讀筆記.
以下書本為iPAS官方推薦考試參考書本
本篇文章為 分享書本:《大數據分析與資料挖礦 2/e》 的閱讀整理
書本資訊
書名：大數據分析與資料挖礦 (第二版)
作者：簡禎富、許嘉裕
出版社：前程文化
出版日期：2019年2月1日
ISBN：9789869688130
頁數：約 576 頁
書本摘要
本書第二版以深入淺出的方式，全面介紹大數據分析與資料挖礦的核心知識。
全書分為三大篇共十三章，涵蓋理論基礎、常用方法與實務應用。
第一篇建立大數據與資料挖礦的基礎框架，說明流程與重要性。
第二篇聚焦於資料前處理與演算法，包括關聯規則、決策樹、貝氏分類、神經網路、多變量分析、迴歸與時間序列等方法。
第三篇探討進階應用，涵蓋商業智慧、製造智慧以及決策最佳化，展示資料挖礦在各領域的實際價值。
新版加入機器學習與深度學習的技術內容，並配合 R 語言範例與實作練習，幫助讀者將理論轉化為實務能力。
這本書不僅適合作為課程教材，也適合數據分析師與業界實務工作者，兼具學術深度與應用廣度。
書本精華重點 (3點)
1. 理論與實務並重：結合理論解析與 R 語言實作案例。
2. 結構完整：從概念、技術到應用逐步展開，邏輯清晰。
3. 廣泛應用：涵蓋商業、製造與決策分析等多領域實務。
10大核心重點概念摘要
1. 大數據與資料挖礦流程的基本認識。
2. Hadoop 與分布式處理平台的重要性。
3. 資料前處理技術在資料分析中的關鍵角色。
4. 關聯規則挖掘及其在商業應用中的價值。
5. 約略集合理論（RST）在模糊資料處理中的應用。
6. 決策樹模型的建構與分類方法。
7. 類神經網路的結構與學習機制。
8. 多變量分析與降維策略的實用性。
9. 迴歸與時間序列在預測中的應用。
10. 決策支持系統與最佳化技術在實務中的重要性。
內容重點整理 + 技術彙整
本書依循三大篇十三章的架構，全面介紹大數據分析與資料挖礦的理論與應用。
第一篇先建立大數據與資料挖礦的框架，解釋流程、概念及其在現今資訊社會的重要性，並引介 Hadoop 平台作為大數據處理的基礎。
第二篇深入各種分析方法，包含資料前處理的重要性、關聯規則與 Apriori 演算法、約略集合理論於模糊數據處理的應用、決策樹在分類與回歸中的效用，以及類神經網路的基本結構與學習演算法。
同時涵蓋多變量分析、主成分分析 (PCA)、聚類、迴歸與時間序列分析，以及貝氏分類器與貝氏網路，這些方法共同構成資料挖礦的基石。
第三篇則延伸到實際應用，包括商業智慧系統、製造智慧以及決策支持與最佳化，展示如何將數據分析轉化為決策與價值創造。
整本書特色在於理論與實作並重，且搭配 R 語言實作案例，幫助學習者將抽象的數據分析方法具體化。
這些內容不僅對學生與研究人員有幫助，也能直接應用於產業數據分析實務中。
技術彙整 (5點)：
1. Hadoop 為大數據分布式處理的核心基礎。
2. 資料前處理是確保資料品質與分析準確性的關鍵步驟。
3. 分析模型的選擇需依應用場景而定，如關聯、分類、降維。
4. BI 與智慧製造為大數據分析的重要應用領域。
5. 最佳化與決策分析能有效提升組織效率與決策品質。
《大數據分析與資料挖礦 2/e》完整架構地圖
I. 理論基礎
大數據概論
- 核心概念： 指資料量龐大、多樣化、產生速度快，且傳統資料庫技術難以處理的數據集。
- 主要特徵 (4V)：
- 容量 (Volume)： 數據規模巨大。
- 多樣性 (Variety)： 數據類型繁多，包含結構化、非結構化、半結構化。
- 速度 (Velocity)： 數據產生和傳輸速度快。
- 真實性 (Veracity)： 數據品質參差不齊，存在不確定性。
- 主要目標： 從龐大數據中提取有價值資訊，洞察趨勢，並做出決策。
Hadoop 平台
- 核心概念： 一個開源的軟體框架，用於分散式儲存和處理大規模數據集。
- 主要組件：
- HDFS (Hadoop Distributed File System)： 負責將大檔案分散儲存在多台機器上，實現高容錯性。
- MapReduce： 一種程式設計模型，用於分散式處理大規模數據集，包含「Map」與「Reduce」兩個階段。
- YARN (Yet Another Resource Negotiator)： 負責管理叢集中的資源，協調各種應用程式的運行。
II. 方法技術
資料前處理
- 核心目的： 清理、整合、轉換和歸約原始數據，使其適合資料挖礦演算法使用。
- 主要步驟：
1. 資料清理： 處理遺失值、雜訊和離群值。
2. 資料整合： 合併來自多個來源的數據。
3. 資料轉換： 將數據標準化或平滑化。
4. 資料歸約： 減少數據量，但保留其完整性。
關聯規則
- 核心概念： 透過分析大量數據，找出項目之間的隱含關係，例如「買尿布的顧客也可能買啤酒」。
- 重要指標：
- 支持度 (Support)： 規則在數據集中出現的頻率。
- 信賴度 (Confidence)： 規則的可靠性，表示當條件發生時，結果發生的機率。
- 提升度 (Lift)： 評估規則是否比隨機發生的機率更有意義。
約略集合理論
- 核心概念： 一種處理不確定性、模糊性和不完整數據的數學工具。
- 主要用途： 屬性歸約與決策規則提取。
- 關鍵思想： 利用「上近似」和「下近似」來描述集合，上近似包含所有可能屬於該集合的元素，下近似則包含所有確定屬於該集合的元素。
決策樹
- 核心概念： 一種流程圖式的分類與預測模型，透過一系列規則對數據進行決策劃分。
- 主要特點： 易於理解和解釋，非參數式模型。
- 建構過程：
1. 選擇最佳屬性作為節點來劃分數據。
2. 重複此過程，直到所有葉節點都屬於同一類別，或達到停止條件。
類神經網路
- 核心概念： 模仿人腦神經元運作的計算模型，用於模式識別和預測。
- 基本架構： 包含輸入層、一個或多個隱藏層和輸出層。
- 學習方式： 透過調整各層神經元之間的「權重」和「偏差」來學習數據中的複雜模式。
多變量分析
- 核心概念： 同時分析兩個或兩個以上變數之間關係的統計技術。
- 主要方法：
- 主成分分析 (PCA)： 用於降維，將多個變數轉換為少數幾個不相關的「主成分」。
- 因子分析： 找出潛藏在多個觀測變數背後的共同「因子」。
- 集群分析 (Cluster Analysis)： 將相似的資料點分組。
迴歸與時間序列
- 核心概念：
- 迴歸分析： 探討變數之間的關係，例如預測一個或多個自變數對應變數的影響。
- 時間序列分析： 探討按時間順序排列的數據，用於分析趨勢、季節性或週期性，並進行未來預測。
貝氏分類方法
- 核心概念： 基於貝氏定理 (Bayes' Theorem) 的一類機率分類演算法。
- 主要特點：
- 樸素貝氏 (Naive Bayes)： 假設所有屬性之間相互獨立，簡單但高效。
- 應用場景： 垃圾郵件過濾、情感分析等。
III. 應用實務
商業智慧
- 核心概念： 透過數據分析，為企業提供洞察和決策支持，以提升競爭力。
- 應用實例：
- 顧客行為分析： 預測顧客流失、推薦系統。
- 市場分析： 識別市場趨勢、競爭者分析。
- 行銷效果評估： 衡量行銷活動的投資回報率。
製造智慧
- 核心概念： 在製造業中應用大數據和資料挖礦技術，實現智慧化生產。
- 應用實例：
- 良率預測與缺陷檢測： 透過數據分析預測產品良率並找出潛在缺陷。
- 設備預防性維護： 根據設備數據預測故障，提前進行維護。
- 供應鏈最佳化： 追蹤和分析供應鏈數據，提高效率和透明度。
決策支持與最佳化
- 核心概念： 利用數據分析和模型，為複雜決策提供科學依據，並尋求最佳解決方案。
- 應用實例：
- 營運最佳化： 庫存管理、物流路徑規劃。
- 資源配置： 根據數據分配人力和財力資源。
- 風險評估： 透過歷史數據分析，預測並量化風險。
附錄：與 iPAS AI 應用規劃師考試對應分析
8.1 初級考試對應
符合初級考試範圍的考點：
- 大數據基本概念與流程
- 資料前處理方法
- 決策樹分析與應用
- 迴歸與時間序列基礎
- 貝氏分類基本原理
- 商業智慧概念與應用
準備時需掌握基本技術原理與名詞解釋。
8.2 中級考試對應
符合中級考試範圍的考點：
- Hadoop 平台與分布式架構
- 類神經網路與深度學習應用
- 約略集合理論的實務運用
- 多變量分析與 PCA 的進階理解
- 製造智慧與最佳化決策模型
- 資料挖礦與 R 語言實作案例
準備時應重視技術機制、應用情境與跨領域分析能力。
