ITS AI考試大綱
ITS AI考試共有五個章節，分別如下：
- AI問題定義
- 數據收集、處理與工程
- AI 演算法與模型
- 應用整合與部署
- 生產環境中的 AI 監控與維護
一、AI 問題定義
- 識別問題：
- 確定要解決的問題（例如：用戶分群、提升客服）。
- 確定需要解決的需求及輸入/輸出要求。
- 確定是否需要使用AI來解決問題。
- 評估在該情境下使用AI的優勢與劣勢。
- 設定可衡量的成功指標。
- 與領域或組織的風險基準進行比較，確保專案目標不受影響。
- 分類問題：
- 分析可用數據（例如：是否有標籤數據）。
- 根據問題的特性分類（例如：分類問題、回歸問題、無監督學習或強化學習）。
- 確認專業需求：
- 確定需要的業務知識。
- 確定是否需要特定領域的專業知識。
- 確認需要的AI相關技能。
- 確定執行技術相關的專業知識需求。
- 建立安全計劃：
- 考慮內部存取層級或權限管理。
- 確保基礎設施安全性。
- 評估使用模型的風險或可能的攻擊面（例如：針對即時學習模型的對抗攻擊）。
- 確保AI的適當使用：
- 識別AI可能會出現錯誤預測或對特定用戶群體造成的潛在傷害。
- 為數據收集及使用設定指導方針。
- 設置從用戶角度出發的算法選擇指南。
- 確保數據結果可以被數據來源相關方理解。
- 考慮AI結果的使用是否可能脫離上下文。
- 選擇透明化與驗證活動：
- 清晰溝通數據收集的目的。
- 決定哪些人應該看到AI結果。
- 檢視與問題相關產業的法律要求。
二、數據收集、處理與工程
- 數據收集方式：
- 確定所需數據的類型與特性。
- 評估是否有現成的數據集，或需要自行生成。
- 若需要生成數據，決定是否可以自動化收集，還是需要用戶輸入。
- 評估數據品質：
- 檢查數據集是否滿足任務需求。
- 檢查數據中是否有缺失或損壞的元素。
- 確保數據代表性：
- 審查數據收集技術，檢測潛在偏差來源。
- 確保數據量足夠構建不偏頗的模型。
- 識別資源需求：
- 評估現有計算資源是否足夠解決問題。
- 考慮專案的預算與可用資源。
- 轉換數據格式：
- 將數據轉換為二進位格式（例如：將圖像轉為像素）。
- 將電腦數據轉為適合AI的特徵格式（例如：將句子轉為標記）。
- 特徵選擇：
- 確定哪些數據特徵需要包含。
- 建立初始的測試/訓練數據特徵向量。
- 與相關領域專家確認特徵選擇的正確性。
- 特徵工程：
- 檢查特徵，確定需要的標準轉換。
- 創建經過處理的數據集。
- 劃分訓練與測試數據集：
- 將數據分為訓練和測試數據集。
- 確保測試數據集具有代表性。
- 記錄數據決策：
- 詳列設計決策的假設、前提與約束條件。
- 確保這些資訊能提供給監管機構或要求透明度的最終用戶。
三、AI 演算法與模型
- 考慮特定算法的適用性：
- 評估 AI 算法的主要類型。
- 確定適合的算法，例如：神經網路、分類（如決策樹、K 均值聚類）。
- 訓練模型：
- 使用最佳預設參數來訓練模型。
- 調整參數以優化模型性能。
- 收集模型的性能指標（如準確率、精確率）。
- 根據需求反覆進行調整與迭代。
- 選擇具體模型並避免過度設計：
- 根據成本、速度和其他因素對模型進行評估。
- 確保所選模型符合解釋性要求。
- 講述數據故事：
- 在可能的情況下，生成結果的視覺化呈現。
- 發現數據趨勢。
- 確保視覺化呈現有助於做出決策。
- 評估模型性能（例如準確率、精確率）：
- 檢查模型是否存在過擬合或欠擬合的情況。
- 生成性能指標或關鍵績效指標（KPI）。
- 引入新的測試數據進行交叉驗證，檢查模型對未見數據的適應性。
- 檢查算法中的潛在偏差：
- 確認輸入數據與訓練數據是否一致或相似。
- 確保訓練數據中不包含我們不希望模型依賴的無關關聯。
- 檢查數據集是否平衡，以避免模型偏向某些結果。
- 防止歷史偏見導致模型產生自我實現的預測。
- 驗證算法的可解釋性，例如：確定決策樹中哪些特徵對決策具有影響力。
- 評估模型敏感性：
- 測試模型對輸入變化的敏感性。
- 測試模型在特定情境中的特異性表現。
- 確認符合法規要求（若有）：
- 按照法規要求的標準檢查輸出的合規性。
- 記錄結果供未來審查使用。
- 獲得利益相關方的批准：
- 收集結果並對風險進行基準評估。
- 舉辦會議以評估解決方案的可行性與效果。
四、應用整合與部署
- 訓練用戶如何使用產品及期望結果：
- 告知用戶模型的限制。
- 解釋模型的預期使用方式。
- 提供相關文件。
- 管理用戶的期望值。
- 計畫解決模型在生產環境中的潛在挑戰：
- 瞭解可能遇到的挑戰類型。
- 瞭解挑戰的指標或信號。
- 瞭解每種挑戰的可能緩解方法。
- 設計生產管線，包含應用整合：
- 建立滿足產品需求的管線（可能與實驗不同）。
- 找出與現有數據存儲相容並連接應用的解決方案。
- 構建 AI 與應用之間的連結。
- 建立收集用戶回饋的機制。
- 測試 AI 的準確性。
- 測試 AI 的穩定性。
- 測試 AI 的速度。
- 測試應用是否適合特定使用案例（例如：在行動應用中的 AI 使用）。
- 支持 AI 解決方案：
- 將 AI 解決方案的功能進行文檔記錄，便於維護（包括更新、修復漏洞及處理邊界案例）。
- 訓練支持團隊。
- 實施回饋機制。
- 實施漂移檢測器。
- 建立收集新數據的方法。
五、生產環境中的 AI 監控與維護
- 執行監管：
- 記錄應用和模型的性能，以便進行安全性、調試、問責與審核。
- 使用可靠的監控系統。
- 對警報採取行動。
- 在多種情境中長期觀察系統，檢查是否出現性能漂移或模式退化。
- 檢測系統是否無法支持新資訊。
- 評估商業影響（關鍵績效指標，KPI）：
- 跟蹤影響指標，確認解決方案是否有效解決問題。
- 比較變更前後的指標，評估改進的影響。
- 當出現意外的指標時，發現並修正問題。
- 衡量對個人和社群的影響：
- 分析對特定子群體的影響。
- 確認並緩解相關問題。
- 發掘優化機會。
- 處理用戶回饋：
- 衡量用戶滿意度。
- 評估用戶是否理解 AI 的預期功能。
- 將用戶回饋納入未來的版本更新中。
- 定期考量改進或停用：
- 綜合觀察各方面的影響（商業、社群、技術趨勢），評估 AI 的價值。
- 決定是否需要重新訓練 AI、繼續使用目前版本，或停止使用 AI。
如果對於ITS AI國際認證有任何問題的同學，歡迎跟楊老師討論喔！
