Credit Canva
本文延續之前康斯坦丁·霍普夫博士等人的研究，該研究談及了〈人工智慧的組織導入：工藝與機械工作〉（Organizational Implementation of AI: Craft and Mechanical Work）中提出的五項組織挑戰。本文專注於這些挑戰中的第五項，即「動態環境」。
機器學習演算法具有將輸入準確映射到輸出的能力，例如將法語翻譯成英語或預測使用者對Instagram貼文的喜愛或評論數量。一旦成功學習這樣的函數，就能自動執行以前由人類執行的任務。然而，這種方法的前提是輸入與輸出的關係在時間上是穩定的。
然而，霍普夫博士等人指出，在將法語翻譯成英語的場景中，這種狀態的假設是成立的。但在社群媒體行銷中，影響熱門貼文的因素的變化速度與時尚和流行文化趨勢的變化一樣快，這使得這種「動態環境」的結構性變化成為一個挑戰。六個月前受歡迎的Instagram內容現在可能不再受到相同程度的喜愛。辨識這些變化，尤其是對於初次接觸機器學習的公司，是一個經常被忽視的挑戰。霍普夫博士等人的研究指出，資料科學家需要持續監控並發現數據中是否存在偏差。傳統的軟體系統通常在長時間內保持一致的運作方式，但在AI系統中，當數據發生變化時，機器學習模型的性能可能下降。這凸顯了持續監控預測模型的重要性，並且要能理解可能影響模型結果的外部變化。
霍普夫博士等人強調，成功的AI系統不是一次性的項目，而是需要持續努力的過程。即使像Google這樣的公司也經歷了痛苦的教訓，例如他們著名的流感趨勢服務開始高估流感水平。其中一個主要原因是工程師未更新底層的機器學習模型，儘管多年來流感傳播的性質及其搜尋引擎的邏輯和使用都發生了很大的變化。最終，谷歌流感趨勢服務因過度預測流感而被關閉。
霍普夫博士等人提出了兩種應對「動態環境」挑戰的策略：
首先，是資料漂移（Data drift）的監控和偵測。由於資料不斷變化（無論是因為資料產生過程的改變，例如引入新的IT系統，或是人類行為的改變，如受COVID-19的影響），機器學習模型的性能會隨著時間退化，失去預測能力。機器學習領域的研究積極提出各種檢測和監控輸入資料漂移的方法。這些方法能夠識別需要更新模型以避免性能下降的情況。
其次，是結合AI開發和運營（MLOps）。MLOps方法能夠減少對系統進行更改和成功地將更改投入正常生產之間的時間（類似於DevOps的概念）。MLOps緊密結合AI開發和AI操作的流程，實現高效AI系統中機器學習模型的快速更新。這種方法一方面能提高監控的自動化程度以提升模型性能，另一方面能透過組織運行來確保符合業務和監管要求。具體做法包括使用漂移檢測技術、進行A/B測試以檢測模型在現實世界影響中的性能下降或副作用、或者由技術和業務專家組成的跨學科團隊，確保品質並最大限度地降低風險。
羅凱揚（台科大企管博士）、黃揚博（政大企管碩士、識商創辦人）
資料來源：Hopf, K., Müller, O., Shollo, A., & Thiess, T. (2023). Organizational Implementation of AI: Craft and Mechanical Work. California Management Review, 66(1), 23–47. https://doi-org.ezproxy.lib.ntust.edu.tw/10.1177/00081256231197445
✨ 歡迎追蹤，獲取更多相關資訊
► 識商IG：
https://www.instagram.com/bizsense2023/
► Line交流社群：
✨ 最新活動：AI商業策略讀書會
