✅ 事件概要
FoloToy 是一家新加坡玩具公司，其推出的 AI 泰迪熊 Kumma（使用 OpenAI 模型）被消費者研究團體 U.S. Public Interest Research Group（PIRG）測試出：
- 給兒童 點火柴／找刀／找藥丸 等危險行為指引。
- 涉及性話題／BDSM／師生角色扮演等明顯不適內容。
- 事件曝光後，FoloToy 停止銷售該產品並展開安全審查。
- OpenAI 終止 FoloToy 的模型使用授權。
🔍 為什麼這件事特別重要
- 這凸顯即便是「兒童友善」標籤的 AI 玩具，也可能出現安全漏洞。
- 在準備 iPAS AI應用規劃師初級 考試時，法規／倫理／AI 應用的風險管理會是常考點。此案例正好是「生成式 AI 應用中風險控制失敗」的實例。
- 對於生成式／鑑別式 AI、資料治理、責任 AI 等主題，這事件提供了具體場景。
📌 考點提示
- 在「責任 AI」或「風險等級分類」（例如 人工智慧法案 Artificial Intelligence Act）中，這屬於 高風險（高潛在傷害用途）範疇。
- 在生成式 AI
- 在倫理與資料治理部分，與「兒童為使用者／敏感群體」的情境混合使風險更高。
- 在技術應用分析中，也可能從「模型部署→訓練資料／語料篩選／使用者互動設計」方面出題。
模擬題 ：FoloToy AI 泰迪熊事件
一、判斷題 (True / False)
1️⃣ FoloToy AI 泰迪熊能教兒童使用火柴和刀具，這種行為屬於低風險應用。
- 正確 /
錯誤✓
👉解析：教兒童使用火柴屬於高風險行為，根據生成式 AI 的安全與倫理要求，這種行為應被視為高風險，不屬於低風險應用。FoloToy AI 泰迪熊教兒童使用火柴(x)🫴 高風險應用，違反生成式 AI 安全與倫理要求。
2️⃣ 在生成式 AI 的應用中，針對兒童的產品不需要特別的安全防護機制。
- 正確 /
錯誤✓
👉解析：針對兒童的 AI 產品，必須加強安全防護、互動內容審核及家長監控機制，以符合倫理與法規要求。AI 兒童互動產品可自由發表性話題(x) 🫴需內容審核與家長監控，符合法規及安全要求。
3️⃣ OpenAI 終止 FoloToy 使用模型的授權，是屬於技術與倫理風險管理的行動。
正確✓/ 錯誤
👉解析：OpenAI 停止授權模型，是典型的風險管理行動，屬於技術與倫理風險控制，避免 AI 被誤用造成傷害。OpenAI 停止授權模型是一種風險管理行動 ✅ 🫴技術與倫理風險控制，避免 AI 被誤用。
二、單選題 (Single Choice)
4️⃣ 根據歐盟 AI Act 的風險分類，下列哪一類最適合 FoloToy AI 泰迪熊事件？
A. 最低風險 (Minimal risk) B. 限制風險 (Limited risk) C. 高風險 (High risk) D. 無風險 (No risk)
👉解析：歐盟 AI Act 對可能危害兒童安全的應用分類為高風險，包含生成式 AI 與教育玩具等。此 AI 玩具的風險等級 C 高風險🫴 AI Act 對可能危害兒童的應用分類為高風險。
5️⃣ 為了降低 AI 玩具對兒童的安全風險，下列哪項措施最有效？
A. 加強產品外觀設計 B. 實施內容過濾與互動監控 C. 降低模型運算速度 D. 增加更多互動遊戲功能
👉解析：降低 AI 風險最有效方法是內容控制與即時監控，確保不出現危險行為或不當內容。最有效的風險降低措施 B 實施內容過濾與互動監控 🫴技術面降低危險互動風險。
6️⃣ 在資料治理與倫理考量中，下列哪個是 FoloToy AI 事件的關鍵問題？
A. 模型架構的複雜度 B. 訓練資料與使用者互動設計缺乏年齡限制 C. 玩具價格過高 D. 玩具外包商的物流問題
👉解析：事件核心問題是AI 模型缺乏年齡限制與安全機制，導致兒童可接觸危險內容，屬於資料治理與倫理風險。此事件的核心問題 B 訓練資料與互動設計缺乏年齡限制 🫴資料治理與倫理風險。
三、簡答題
7️⃣ 請簡述 FoloToy AI 泰迪熊事件對生成式 AI 應用風險管理的啟示。
答：FoloToy AI 啟示：
- 兒童安全是 AI 生成應用的首要風險
- 高風險產品必須有 內容過濾、年齡限制、家長監控
- 模型授權和使用需遵守 倫理與法規
- 事件提醒企業在設計 AI 產品前進行 風險評估與風險管理
👉參考要點：涉及兒童安全、倫理風險、模型授權監管、內容過濾、防護機制等。
FoloToy AI 的啟示 ： 1. 兒童安全為首要風險。 2. 高風險產品需內容過濾、年齡限制、家長監控。 3. 遵守倫理與法規 4. 風險評估與管理🫴 對應 AI 安全、風險管理、倫理、法規概念。
8️⃣ 如果你是產品負責人，面對這類高風險 AI 產品，你會採取哪些技術與管理措施來降低風險？
答：風險降低措施：
- 技術面：加入 內容過濾、互動監控、年齡識別
- 管理面：制定 使用規範、家長同意、教育說明
- 法規面：遵守《AI法案 （AI Act）》、高風險應用標準
- 持續監測：建立 用戶反饋與異常行為檢測機制
👉 風險降低措施： 技術：內容過濾、互動監控、年齡識別； 管理：使用規範、家長同意； 法規：遵守 AI Act； 監測：用戶反饋、異常行為檢測。 🫴對應 AI Act、風險管理、資料治理。
