在使用了一陣子AI相關的應用工具，思考是否有相關的AI證照可在準備的過程也同時更瞭解AI的整體概念。有機會看到Tibame有ITS AI的課程，就參與了課程及考試準備。
證照說明參考來自Tibame楊老師的「何謂ITS AI國際認證」
ITS AI考試大綱
有關ITS AI考試內容方向可參考 Certiport的官網:Certiport IT SPECIALIST Artificial
或是碁峰資訊的官方說明: 碁峰資訊ITS Artificial Intelligence 考試大綱
內容包含五大主題：
1.AI問題定義
2.數據收集、處理與工程
3.AI 演算法與模型
4.應用整合與部署
5.AI的維護和監控
各章節重點筆記
於7月參與Tibame楊宏文老師的「 ITS AI國際認證應考攻略」的課程後，對於各章節內容研讀後，匯整如下筆記：
ITS AI 證照考試筆記整理
🟦 第 1 章：AI 問題定義與規劃（AI Problem Definition）
- AI 的分類
- 機器學習類型分類及解決問題：
- 分類 / 分群
🟨 第 2 章：資料收集、處理與工程（Data Collection, Processing, and Engineering）
- 資料的類型：結構化 / 半結構化 / 非結構化
- 資料來源：
- 內部數據：企業內部交易數據、客戶數據、運營數據
- 外部數據：來自外部公開數據、第三方數據、社交媒體
- 資料蒐集方法與合法性
- 資料蒐集方式：
- 手動蒐集: 問卷調查、面訪收集
- 自動蒐集: 網路爬蟲、API接口、自動化工具第三方數據購買: 購買專業數據提供商的數據服務
- 資料遵循合法性（GDPR、CCPA）
- GDPR: 歐盟一般資料保護規定 (GDPR)
- CCPA: 加州消費者隱私法,為加州消費者提供隱私權和義務
- 資料處理：
- 數據品質：及時性、完整性、準確性、一致性.
- 資料協作：共享數據
- 資料清理：Data cleaning從資料庫中檢測和糾正(或刪除)損壞或不正確的記錄.
- 特徵工程(Feature engineering)又稱提取特徵(屬性、特性)的過程。將原始數據轉換為更適合機器學習模型使用的過程，常見的編碼技術：
- 1)標籤編碼(Label Encoding): 依序將出現的類別編上流水號。
- 2)一位有效編碼(One-Hot Encoding):將類別型數據轉換為二進位向量。
- 📌 意義：為每個類別新增一個欄位，該欄位代表是否為該類別，是為1，否為0。
- 3)虛擬編碼(Dummy Encoding)：為了避免「共線性」，把其中一欄省略，作為「基準值」
- 多重共線性問題：在迴歸分析或其它統計模型中，指自變數(特徵)之間存在高度線性相關的情況。
- ML模型訓練與評估流程
- 分割資料集：將原始資料區分不同子集，例如訓練集70%、驗證集15%、測試集15%
- 訓練模型：使用訓練集訓練模型
- 調參數：使用「驗證集」調整參考模形 超參數 選擇最佳模形。
- 超參數(Hyperparameter)：是在機器學習和深度學習模型中，由開發者在訓練過程開始前設定的參數，並在多次試驗之間進行設定或調整，而不會在訓練過程中進行更新。超參數對模型的性能和結果有著重要影響，需要通過試驗和調整來尋找最佳值。
- 最終測試：使用測試集進行最終評估，以檢查模形的泛化性能。
- 交叉驗證：將不同子集的資料，如測試集及訓練集交替驗證。
- 大語言模型：(LLM)是一種語言模型，由具有許多參數的人工神經網路組成，透過監督式學習、非監督式學習等機器學習的方法對大量文字、圖片、聲音、影片進行訓練。
- 給AI的能力測驗：MMLU、GPQA
- MMLU (Massive Multitask Language Understanding): 用以評估大型語言模型在 “廣泛知識領域”的理解和推理能力，像是給AI做的一份綜合能力測驗。涵蓋了57個學科，範圍廣泛，包含：
- STEM領域： 例如數學、物理、化學、生物、電腦科學等。
- 人文領域： 例如歷史、哲學、文學、語言學等。
- 社會科學領域： 例如政治學、經濟學、心理學、社會學等。
- 以及其他更專業的領域，例如法律、倫理學等。
- MMLU Pro: 聚焦14學科，以大量推理題取代知識題。
- GPQA (Graduate-Level Google-Proof Q&A) : 是一個針對大型語言模型 (LLM) 設計的高難度問答資料集，用來測試模型在研究生程度的專業知識和推理能力。它著重於那些即使使用 Google 搜尋也很難找到直接答案的問題。GPQA 也涵蓋了多個學術領域，包含：
- 科學： 例如生物學、化學、物理學、電腦科學等。
- 人文學： 例如歷史、哲學、文學等。
- 社會科學： 例如經濟學、政治學等。
- LMSYS (Large Model Systems Organization): 給AI的能力測驗，透過全球使用者「盲測對決」的方式，評比各家LLMs的回應品質，並整理出排行。
🟩 第 3 章：AI演算法與模型（AI Algorithms and Models）
- 機器學習種類：
- 監督式學習
- 非監督式學習
- 半監督式學習
- 強化學習(增強式)
- AI偏見
- 數據偏見(Data Bias)
- 算法偏見(Algorithmic Bias)
- 人類反饋和交互偏差(Interaction Bias)
- 系統偏差(System Bias)
- 如何避免偏見
- 多元化和平衡數據集
- 透明和可解釋的系統
- 持續監控和評估
- 多學科視角的合作
- 常見演算法：KNN、SVM、決策樹、K-Means、神經網路
演算法類型適用任務定義與核心概念特點及常見應用場景:
- 線性迴歸：適用於解決迴歸問題；
- 邏輯迴歸：適用於解決分類問題。
- 類神經網路：每個神經元都是一個激發函數，多個神經元連接在一起，類似生物神經網路的網狀結構，多層節點(神經元)組成的模型，通過學習數據中的模式進行預測、分類或其它任務。
- 機器學習核心概念是從資料中自行學會一套技能，並根據新的數據、自行更正預測錯誤的地方、不斷優化。學習過程分成：
- 前向傳播(Forward-Propagation)
- 反向傳播(Backward-Propagation)
- 類神經網路關鍵：
- 輸入層：接收數據
- 隱藏層：進行特徵提取和數據轉換
- 輸出層：給出預測或結果
- 學習：使用反向傳播法，通過調整權重和偏置來最小化誤差。
- 深度學習 (Deep Learning)：以多層神經網路(Deep Neural Network)為基礎的機器學習方法。
- 神經網路基礎：
- 結構： 輸入層、隱藏層、輸出層。
- 神經元 (Neuron)： 權重 (Weights)、偏置 (Bias)。
- 激勵函數 (Activation Functions)： Sigmoid, Tanh, ReLU, Leaky ReLU, Softmax。
- 常見深度學習模型：
- 卷積神經網路 (Convolutional Neural Networks, CNN)： 核心概念（卷積核、池化層）、主要應用（圖像識別、物體檢測）。
- 循環神經網路 (Recurrent Neural Networks, RNN)： 處理序列數據、記憶能力、存在問題（梯度消失/爆炸）。
- 長短期記憶網路 (Long Short-Term Memory, LSTM) 和門控循環單元 (Gated Recurrent Unit, GRU)： 解決 RNN 梯度問題，應用於 NLP。
- 生成對抗網路 (Generative Adversarial Networks, GAN)： 生成器 (Generator) 和判別器 (Discriminator) 的對抗學習。
- 混淆矩陣(Confusion Matrix):是一種在「分類問題」中用來評估分類模型好壞與錯誤類型的工具，幫助我們挑對模型與評估方法。展示預測結果與實際分類之間的對比。
- 四個值：True Positive (TP)、True Negative (TN)、False Positive (FP)、False Negative (FN)；True/False是指預測和實際是否為一致。
- 用途：計算分類準確率、精確率、召回率、F1-分數(綜合衡量精確率和召回率)
- 準確 (Accuracy)：指的是「彈著點與靶心的距離」，也就是擊中目標的程度。
- 精確 (Precision)：指的是「所有彈著點是否集中」，也就是一致性或穩定性。
- 準確率：衡量整體預測的正確性；精確率：著重於陽性預測的可靠性。
- 指標計算：
- 模型擬合：
- 低度擬合 (Underfitting)： 模型過於簡單，無法捕捉訓練數據中的基本模式，導致其在訓練數據和測試數據上都表現不佳。
- 模型對不同訓練數據集的敏感度，稱為方差Variance; 低度擬合--->低方差
- 過度擬合 (Overfitting)：模型過於複雜，擁有太多參數，過於適應訓練數據中的細節和噪音，導致新的未見過的數據 (測試集)上泛化能力差。訓練資料表現好，但在測試資料或實際應用表現不佳。避免過度擬合：限制決策樹的最大深度、剪枝。
🟥 第 4 章：應用整合與部署（Application Integration and Deployment）
- 企業導入AI的三大面向：
- 政策：合規性標準、AI資安政策
- 技術：企業級安全方案、技術基礎設施
- 教育：風險意識培訓、員工教育訓練
- RAI (Responsible AI)負責任的AI概念：
- 道德(Ethical)：確保AI的使用符合道德標準，包括數據收集與使用。
- 安全(Safe)：確保AI行為符合人類期望，確保其決策與運作方式不會導致危害.
- 導明(Transparent)：公開數據收集目的，保留決策記錄，並提供模型透明度。
- 合規(Compliant)：確保AI系統的開發和部署符合相關法律與法規要求。
- AI治理與策略：
- 企業應制定明確的AI策略
- 企業需了解AI的機會與限制，確保安全與隱私，避免潛在風險。
- 資料治理與風險管理是AI治理的關鍵。
- 企業應確保AI模型的安全性與合規性。
- 針對AI應用，企業需要策略並進行風險評估。
- AI模型部署選項：本地 / 雲端 / 混合
- 雲端AI (Cloud AI)：雲服務商提供AI運算資料，無需維護硬體，彈性擴展，使用最新LLM。
- 地端AI (On Prem AI)：AI運行在企業內部伺服器，數據掌控於內部，初期建置成本高。
- 混合雲：結合雲端及本地，透過VPN互通，兼顧安全性與彈性，降低雲端API成本，提升AI服務的穩定性。
- RAG：檢索增強生成 (Retrieval-Augmented Generation) 是透過「檢索外部知識」來增強 AI 生成內容的準確性，特別適用於 需要即時資訊或廣泛知識 的應用場景。
- 檢索 (Retrieval)：先從LLM的外部知識庫 (如企業內部文件、向量資料庫、網頁搜尋) 中檢索相關資訊。檢索的核心技術：
- 嵌入 Embeddings：將資料轉換成向量Vector，在多維空間中表示語意
- 向量資料庫 (Vector Database)：利用最近鄰檢索 (Nearest Neighbor Search, NNS) 快速查找與輸入語句相關的向量。
- 檢索算法：例如 FAISS (Facebook AI Similarity Search)，用於高效檢索相似內容。
- 資料預處理：將文本分段並建立索引，以提升檢索效率。
- 增強 (Augmented)：將檢索到的資訊作為上下文，提供給LLM。
- 生成 (Generation)：LLM 根據檢索到的內容進行回應，而不是單純依賴模型內部記憶。
- CAG：快取增強生成 (Cache-Augmented Generation) 透過「快取歷史回應」來加速 AI 生成，適用於高頻查詢、低變動性內容，能顯著降低計算成本並提升回應速度。
- 建立快取機制（Caching）：將結果存入快取，例如 Redis、Memcached、向量快取庫。針對相同或相似的查詢，直接去快取拿，避免 LLM 再計算。
- 快取策略（Cache Strategy）例如：用LRU淘汰較久未使用的快取，用TTL對於需要定期更新的內容 (如財報、新聞摘要)，設置有效期限。
- Workflow Automation & Robotic Process Automation
- WA (Workflow Automation): 工作流程自動化，透過預設流程、API等，自動執行任務。
- RPA (Robotic Process Automation) : 機器人流程自動化，透過模擬人類操作UI
- 邊緣運算(Edge computing) 是一種分散式運算架構，將資料處理、儲存與應用分析的作業，從雲端伺服器(網路中心節點)「移到靠近資料來源(網路邏輯上的邊緣節點)（如感測器、手機、工廠設備等）」的「邊緣設備」上進行。特點：
- ✅ 低延遲：不用將資料回傳雲端，反應更即時。
- ✅ 節省頻寬：大量資料在本地處理，減少傳輸。
- ✅ 資料隱私性高：重要資料不需上傳雲端，安全性高。
- ✅ 即時決策能力強：適合工業、醫療、車聯網等場景。
🟪 第 5 章：在生產/正式環境中的AI維護與監控（Maintaining and Monitoring AI in Production）
- 優化模型推理(持續優化推理效能做法)
- 監控效能健康度
- 效能推斷調整
- 再訓練
- 硬體與框架環境優化
- 強化MLOps自動化流程
- 模型飄移：數據分佈或特徵隨時間推移，其性能逐漸下降。
- 資料飄移(Data Drift)：訓練模型所用資料和實際收到的新資料間的差異。
- 概念飄移(Concept Drift)：要預測的目標或趨勢隨時間改變時發生。
- MLOps 自動化流程 (Machine Learning Operations) 是結合 機器學習（ML） 與 IT 運維（DevOps） 的一套流程與實踐框架，用來協助：
- 將機器學習模型從實驗室推向 生產/正式環境
- 持續監控、部署與更新模型
- 自動化並標準化機器學習生命週期管理
- MLOps 生命週期流程
- MLOps 涵蓋 完整 ML 專案的生命週期，可拆成下列階段：
- 1. 資料收集與前處理-建立數據管線，自動化 ETL 流程
- 2. 模型訓練與驗證
- 3. 模型儲存與版本管理-使用 Git 等工具追蹤與管理模型版本
- 4. 模型部署-將模型部署至生產環境（如 REST API、雲端平台）
- 5. 模型監控與再訓練-監測模型效能（如飄移、準確率下降），自動觸發重訓練與更新
- 6. CI/CD for ML- 建立自動化流程(如每次提交後自動訓練,測試與部署）
- 推斷調整：
- 量化(Quantization)：降低、壓縮模型的數值精度，提升執行速度。
- 剪枝(Pruning)：移除影響較小的神經元或權重，減少計算量，提高效率。
- 知識蒸餾(Knowledge Distillation)：用小模形學習大模形。
- 批次與管道化(Batching & Pipeline Optimization)：
- 將多個請求合併，減少所需I/O.將模形分散在不同GPU/TPU執行.
- 模型需要重訓練的情境
- 數據變化
- 性能下降
- 目標變更
- 技術進步
- 錯誤修正
- 合規要求
- AI專案利益關係人
- 內部關係人：
- 公司高層管理者CxO開發團隊：AI工程師、機器學習工程師、數據科學家
- 營運團隊：生產環境機器學習工程團隊、IT支持團隊產品和
- 產品和市場團隊：產品經理、市場營銷專家
- 外部關係人：
- 客戶：終端用戶、企業客戶
- 供應商和合作夥伴：技術應商、業務合作夥伴
- 監管機構：政府機構
- 行業專家和顧問
- 系統透明度
- 操作透明度
- 數據透明度
- 決策透明度
- 變更透明度
- 結果透明度
- 合規與倫理透明度
- 有助提供透明度的文件：留下相關評估報告
- 超參數組態和設定文件：包含所有超參數組態和設定的可解釋特徵。
- 模型版本控制文件：建立模型版本的方式和做法。
- 模型訓練數據記錄：詳細描述訓練數據集，包括數據來源、數據清理過程及數據集分割策略。
- 模型評估報告：包括模型性能評估指標（如準確率、精確率、召回率、F1分數等）及對不同測試數據集的性能比較。
- 其它相關文件：
- 模型解釋文檔：使用模型解釋技術（如SHAP值、LIME等）說明模型決策過程。變更記錄和版本控制：詳細記錄模型的每次更新、改進和變更，包括修改內容、原因和效果。合規性和倫理性評估報告：確保模型遵循相關法律法規和倫理標準，並提供相關評估報告。
- 評估系統升級
- 1)現狀分析：(效能指標)，目前系統關鍵效能指標(如處理速度、負載量、穩定性等)是否達到預定的服務水準(SLA)?
- 2)效能評估：(繼續用的可行性)，繼續現有軟硬體架構是否能滿足短期內(6個月或1年)的負載需求?若無法持續維運，哪個部分的問題最嚴重?
- 3)技術檢視：(新技術的成熟度)，業界是否已有更先進或更高效的新技術或框架?
- 4)新技術分析：(核心指標或功能)，新技術能取代/補強/解決現有系統的哪些瓶頸? 導入新技術所需的資源、預算、開發時程、人員培訓是否在公司可接收的範圍內?
- 5)功能比較：(與現有系統相比)，繼有與新技術/功能相比能帶來多少效益?是否cover升級過程中的投入成本? 升級是否有替代選項?
- 後記：
- ITS AI的內容範圍含概AI基本概念，從資料收集到機器學習、主要模型演算法、及AI導入與維運等概念，對於後續要再繼續深入AI進階領域如NLP、LLM等開發前，先有一個概念性瞭解是有一定的幫助。考試內容除了自己準備外，Tibame楊老師開立的2天課程對於考試的準備是相當加分，也順利取得證照。
