上個月,筆者在舊金山舉辦了第二次的AI與ML產品經理論壇;五位AI/ML產品經理分別來自矽谷新創、Google、YouTube等科技公司,橫跨醫療、製造業、App等產業與產品類型,和我們一起進行了豐富多元的討論。本文所節錄的,是會中獲得熱烈討論的三個重要議題。
Bastiane Huang
Bastiane Huang目前在舊金山的AI/Robotics新創公司擔任產品經理,擁有近10年產品行銷及市場開發管理經驗;曾在美國《機器人商業評論》及《哈佛商業評論》發表文章及個案研究。如果你也對Robotics 2.0(AI-Enabled Robotics)、產品管理、Future of Work有興趣,歡迎追蹤她的最新訊息。
我們涵蓋了各種各樣的主題:從最適合ML(機器學習)的應用案例類型、管理ML產品的獨特挑戰、產品規劃以及優先順序、常見錯誤、與ML工程師的最佳合作方法,一直到作為成功ML產品經理所需要的基本技能等等。
以下節錄三個當晚討論到的重要問題。
ML模型難以解釋,該怎麼向用戶說明?
在先前的文章〈
給產品經理的AI開發指南〉中,我談到了可解釋性問題對管理ML產品帶來的重大挑戰。ML與一般軟體不同的是,工程師不會為ML演算法定義一組規則,而是提供訓練數據,讓神經網路來自行學習。
開發ML也與其他軟體工程不同:ML產品需要更多實驗、也涉及更多的不確定性和可變性。軟體工程是一個「為機器編寫規則」的「確定性」過程,而機器學習則具有更大的彈性;因為它可以自行學習,而不需要我們來編寫規則。
ML產品需要更多實驗、也涉及更多的不確定性和可變性。
但是,這也意味著ML模型像是一個黑盒子,我們只知道輸入和輸出,卻不知道它內部的實際運作方式。為了解決這個問題,科學家們開始研究所謂「explainable AI」(可解釋的人工智慧),研究如何在ML模型開發之前、開發期間、或是開發之後解釋AI所做出的判斷。
然而,即使我們能夠將AI的判斷解釋得更好 ,相較於軟體程式,機器學習仍然涉及更多的機率與不確定性;因此,對於ML產品經理來說,更重要的問題是:我們如何向用戶說明這種不確定性、並且讓他們接受?
根據
最新研究,有三分之一以AI技術為基礎的醫療保健軟體系統服務(SaaS)公司,都正在研究AI醫療診斷。但是,ML的不確定性和缺乏可解釋性,讓診斷結果更難獲得臨床醫生或病人家屬的信任。
Mike Ng是矽谷醫療新創公司「Remedy」的產品策略負責人、也是共同創辦人;這是一家利用可解釋的深度學習(deep learning)和強化學習(reinforcement learning)技術,來進行慢性疾病篩查的公司。他提供了將ML轉化為UX問題的有效方法:
我們選擇不直接陳述機器預測的結果,而是將預測描述為:由於A、B、和C原因,讓某位患者得到某種疾病的機率比一般人高出五倍。
這樣一來,我們將模型預測的有用資訊提供給醫生,以便醫生可以使用這些資訊來做出決策。
因為ML更具不確定性,因此
顯示每個預測的可信程度(confidence level),也是引導使用者正確期望的一種方式;也就是說,與其為使用者提供決策,不如考慮呈現數據,讓使用者自己做出選擇。
鼓勵使用者提供回饋也相當重要。即使95%的時間模型能夠預測正確結果,但仍有5%的情況下模型可能出錯,我們需要能夠
有效而順暢的的處理這些錯誤。
如何找出最適於用ML解決的用戶問題?
ML可用於解決各種問題,但就核心應用案例而言,
ML最適合決策或預測。我們可以進一步將ML應用程式分為三種類型:
- 檢測/檢查(detection/inspection):幫助使用者識別缺陷或異常,例如銀行或保險的詐欺檢測,或是生產線上的產品缺陷檢測。
- 模式識別(pattern recognition):幫助使用者篩選大量數據;包括推薦、排序、個人化、分類、預測維護、以及人機互動等等。例如針對Alexa或Google Home等智慧音箱進行自然語言處理(NLP)。
- 高維認知(high dimension cognition):幫助使用者篩選並處理大量高維感官數據;例如:人工智慧機器人、自動駕駛汽車等等。
作為產品經理,你需要知道什麼時候應該使用什麼ML技術;更重要的是「什麼時候不該使用ML」。例如,當你的產品需要
高精度或可解釋性時,就可能需要考慮使用其他方法來解決用戶問題。
但是,瞭解ML的應用案例只是第一步。要實際開發客戶需要的解決方案,產品經理必須成為技術人員和使用者之間的溝通橋樑;因為技術人員瞭解ML,但並不太理解客戶需求,而使用者對產品應用案例有豐富經驗、也希望應用ML,但卻不知道從何開始。
這兩組人通常不會說同一種語言。作為產品經理,你需要花費大量時間與工程師或科學家合作,以瞭解ML的潛力和侷限性;你也應該經常與客戶交談,以確定他們的痛點、並思考團隊可以建構怎樣的解決方案,來解決客戶的問題。
與ML研究人員和工程師的最佳合作方法是什麼?
在回答這個問題之前,首先需要弄清楚的是:你的目標是什麼?公司的目標又是什麼?
如果你的公司想發表更多的論文,那麼擁有一個純粹的研究團隊是正確的;然而大多數公司想做的,都是設計解決使用者問題的產品,而不是單純做研究。所以,能將公司的目標說明清楚,你才能吸引到對的人。
其次,一旦你有合適的人才,要確保他們能與公司的其他部門保持聯繫,以瞭解我們的產品藍圖。例如可以把ML研究人員與工程師放在同一個團隊中,以便構建早期原型,來測試關鍵功能並改良產品,而不是花費大量時間做學術研究。
由於ML產品的不確定性,我們希望給ML科學家更多的時間和空間來探索和實驗;但我們必須讓團隊專注於客戶真正需要、並且願意付費使用的功能。這就是為什麼我們需要對實驗設定時間限制,並鼓勵團隊儘早、並且
經常測試模型。
另一個有趣的觀點是,ML不僅需要技術變革,也需要組織變革。作為ML產品經理,你可以讓其他合作夥伴瞭解ML產品為何更具有挑戰性、同時幫忙解決潛在衝突。
就像我之前提到的:必須清楚認識開發ML產品、以及軟體產品之間的區別,因為沒有一個組織流程是可以一體適用的;無論是衝刺(sprint)流程、規劃、或是組織,都必須視需要隨時調整。
結語
「定義數據策略」並不是資料科學家的責任,因為這應該是一個策略決定;即使在構建ML產品之前,公司內部也必須對策略達成一致意見。在你想進入的市場之中,是否已經有產業巨頭掌握了大多數資料?你應該不想在電子商務上與Amazon競爭、或是在位置資料方面與Google地圖匹敵。
所以,你必須找到目前還沒有一家公司能主導客戶資料的藍海市場。
光是讓工程和產品團隊理解這些問題是不夠的。公關或行銷人員是否瞭解ML產品的性質與利弊?做出錯誤預測的後果和代價是什麼?公司準備好回答所有這些問題了嗎?
如果您想獲得所有未來活動的通知、或是收到AI和ML產品經理的Facebook私密群組邀請,請在此處訂閱;如果您有任何建議,也歡迎聯繫作者。