ITS AI 國際認證考試大綱 (中文完整版)

ITS AI考試大綱

ITS AI考試共有五個章節，分別如下：

1. AI問題定義
2. 數據收集、處理與工程
3. AI 演算法與模型
4. 應用整合與部署
5. 生產環境中的 AI 監控與維護

一、AI 問題定義

1. 識別問題：
2. • 確定要解決的問題（例如：用戶分群、提升客服）。
   • 確定需要解決的需求及輸入/輸出要求。
   • 確定是否需要使用AI來解決問題。
   • 評估在該情境下使用AI的優勢與劣勢。
   • 設定可衡量的成功指標。
   • 與領域或組織的風險基準進行比較，確保專案目標不受影響。
2. 分類問題：
3. • 分析可用數據（例如：是否有標籤數據）。
   • 根據問題的特性分類（例如：分類問題、回歸問題、無監督學習或強化學習）。
3. 確認專業需求：
4. • 確定需要的業務知識。
   • 確定是否需要特定領域的專業知識。
   • 確認需要的AI相關技能。
   • 確定執行技術相關的專業知識需求。
4. 建立安全計劃：
5. • 考慮內部存取層級或權限管理。
   • 確保基礎設施安全性。
   • 評估使用模型的風險或可能的攻擊面（例如：針對即時學習模型的對抗攻擊）。
5. 確保AI的適當使用：
6. • 識別AI可能會出現錯誤預測或對特定用戶群體造成的潛在傷害。
   • 為數據收集及使用設定指導方針。
   • 設置從用戶角度出發的算法選擇指南。
   • 確保數據結果可以被數據來源相關方理解。
   • 考慮AI結果的使用是否可能脫離上下文。
6. 選擇透明化與驗證活動：
7. • 清晰溝通數據收集的目的。
   • 決定哪些人應該看到AI結果。
   • 檢視與問題相關產業的法律要求。

二、數據收集、處理與工程

1. 數據收集方式：
2. • 確定所需數據的類型與特性。
   • 評估是否有現成的數據集，或需要自行生成。
   • 若需要生成數據，決定是否可以自動化收集，還是需要用戶輸入。
2. 評估數據品質：
3. • 檢查數據集是否滿足任務需求。
   • 檢查數據中是否有缺失或損壞的元素。
3. 確保數據代表性：
4. • 審查數據收集技術，檢測潛在偏差來源。
   • 確保數據量足夠構建不偏頗的模型。
4. 識別資源需求：
5. • 評估現有計算資源是否足夠解決問題。
   • 考慮專案的預算與可用資源。
5. 轉換數據格式：
6. • 將數據轉換為二進位格式（例如：將圖像轉為像素）。
   • 將電腦數據轉為適合AI的特徵格式（例如：將句子轉為標記）。
6. 特徵選擇：
7. • 確定哪些數據特徵需要包含。
   • 建立初始的測試/訓練數據特徵向量。
   • 與相關領域專家確認特徵選擇的正確性。
7. 特徵工程：
8. • 檢查特徵，確定需要的標準轉換。
   • 創建經過處理的數據集。
8. 劃分訓練與測試數據集：
9. • 將數據分為訓練和測試數據集。
   • 確保測試數據集具有代表性。
9. 記錄數據決策：
10. • 詳列設計決策的假設、前提與約束條件。
    • 確保這些資訊能提供給監管機構或要求透明度的最終用戶。

三、AI 演算法與模型

1. 考慮特定算法的適用性：
2. • 評估 AI 算法的主要類型。
   • 確定適合的算法，例如：神經網路、分類（如決策樹、K 均值聚類）。
2. 訓練模型：
3. • 使用最佳預設參數來訓練模型。
   • 調整參數以優化模型性能。
   • 收集模型的性能指標（如準確率、精確率）。
   • 根據需求反覆進行調整與迭代。
3. 選擇具體模型並避免過度設計：
4. • 根據成本、速度和其他因素對模型進行評估。
   • 確保所選模型符合解釋性要求。
4. 講述數據故事：
5. • 在可能的情況下，生成結果的視覺化呈現。
   • 發現數據趨勢。
   • 確保視覺化呈現有助於做出決策。
5. 評估模型性能（例如準確率、精確率）：
6. • 檢查模型是否存在過擬合或欠擬合的情況。
   • 生成性能指標或關鍵績效指標（KPI）。
   • 引入新的測試數據進行交叉驗證，檢查模型對未見數據的適應性。
6. 檢查算法中的潛在偏差：
7. • 確認輸入數據與訓練數據是否一致或相似。
   • 確保訓練數據中不包含我們不希望模型依賴的無關關聯。
   • 檢查數據集是否平衡，以避免模型偏向某些結果。
   • 防止歷史偏見導致模型產生自我實現的預測。
   • 驗證算法的可解釋性，例如：確定決策樹中哪些特徵對決策具有影響力。
7. 評估模型敏感性：
8. • 測試模型對輸入變化的敏感性。
   • 測試模型在特定情境中的特異性表現。
8. 確認符合法規要求（若有）：
9. • 按照法規要求的標準檢查輸出的合規性。
   • 記錄結果供未來審查使用。
9. 獲得利益相關方的批准：
10. • 收集結果並對風險進行基準評估。
    • 舉辦會議以評估解決方案的可行性與效果。

四、應用整合與部署

1. 訓練用戶如何使用產品及期望結果：
2. • 告知用戶模型的限制。
   • 解釋模型的預期使用方式。
   • 提供相關文件。
   • 管理用戶的期望值。
2. 計畫解決模型在生產環境中的潛在挑戰：
3. • 瞭解可能遇到的挑戰類型。
   • 瞭解挑戰的指標或信號。
   • 瞭解每種挑戰的可能緩解方法。
3. 設計生產管線，包含應用整合：
4. • 建立滿足產品需求的管線（可能與實驗不同）。
   • 找出與現有數據存儲相容並連接應用的解決方案。
   • 構建 AI 與應用之間的連結。
   • 建立收集用戶回饋的機制。
   • 測試 AI 的準確性。
   • 測試 AI 的穩定性。
   • 測試 AI 的速度。
   • 測試應用是否適合特定使用案例（例如：在行動應用中的 AI 使用）。
4. 支持 AI 解決方案：
5. • 將 AI 解決方案的功能進行文檔記錄，便於維護（包括更新、修復漏洞及處理邊界案例）。
   • 訓練支持團隊。
   • 實施回饋機制。
   • 實施漂移檢測器。
   • 建立收集新數據的方法。

五、生產環境中的 AI 監控與維護

1. 執行監管：
2. • 記錄應用和模型的性能，以便進行安全性、調試、問責與審核。
   • 使用可靠的監控系統。
   • 對警報採取行動。
   • 在多種情境中長期觀察系統，檢查是否出現性能漂移或模式退化。
   • 檢測系統是否無法支持新資訊。
2. 評估商業影響（關鍵績效指標，KPI）：
3. • 跟蹤影響指標，確認解決方案是否有效解決問題。
   • 比較變更前後的指標，評估改進的影響。
   • 當出現意外的指標時，發現並修正問題。
3. 衡量對個人和社群的影響：
4. • 分析對特定子群體的影響。
   • 確認並緩解相關問題。
   • 發掘優化機會。
4. 處理用戶回饋：
5. • 衡量用戶滿意度。
   • 評估用戶是否理解 AI 的預期功能。
   • 將用戶回饋納入未來的版本更新中。
5. 定期考量改進或停用：
6. • 綜合觀察各方面的影響（商業、社群、技術趨勢），評估 AI 的價值。
   • 決定是否需要重新訓練 AI、繼續使用目前版本，或停止使用 AI。

如果對於ITS AI國際認證有任何問題的同學，歡迎跟楊老師討論喔！