因為擔任網站、APP 企劃 PM 的緣故,我看了近十年的產品數據,Visits, PV, WAU, MAU, Retention Rate, Bounce Rate 各種指標熟門熟路。 但我在履歷表的專長欄裡,填上「數據分析」這四個字時,還是會感到心虛。
因為我沒有的數據分析知識體系,以系統化的方式拆解挖掘哪些數據是產品的關鍵指標,幫助產品團隊找出所謂的「北極星」。 直到去年在 Hahow 找到大維與辰禧開的課程
《產品數據分析-打造網路產品的決策引擎》,終於解決我的職涯痛點。 這門課很特別,
它不是教你怎麼成為數據分析的工具人,而是教你從商業思維看待數據分析這門事。 而這門課令我印象深刻的概念包含:
結合產品策略,Top-Down 建立產品指標體系
關鍵指標必須回歸產品的目標市場、價值定位、生命週期、營運模式,再由產品策略出發,逐一思考定義架構指標層級。
以老師建議的產品指標體系層次為:
- 策略層級指標:
影響公司或產品長期發展最重要的指標。以 Netflix 為例,其策略層級指標可能為提升「週活躍訂閱用戶數」。
- 一級指標:
即與策略發展指標有直接關聯的指標。承上從 Netflix 的「週活躍訂閱用戶數」指標衍生出的一級指標為「總用戶數」、「訂閱人數」、「互動數量」。
- 二級指標:
從一級戰術指標下,依市場區域、用戶屬性、用戶與產品互動階段等各項因素分類細化出的指標。好比 Netflix《華燈初上》的台北捷運廣告,對「總用戶數」一級指標的績效表現,或許會選用新用戶下載 App 數、現有用戶的《華燈初上》觀看時長或用戶流失減少比率為二級指標,作具體評估。
指標是為驗證商業問題假說而生,建立需具假說思考
此外,同樣的商業問題,監測分析的指標數據,也會隨產品類型、互動階段(著陸 / 互動 / 續用 / 付費 )、產品成長策略(增長 / 留存 / 擴散)與解決方案而設計。 舉產品營收下滑為例,若產品是電商網站,分析數據趨勢後,PM 先推測假說為自然流量下滑,接著提出 SEO 優化方案,再據此建立對應的指標:自然搜尋流量、自然搜尋客源購買轉換率以及衍生的營收成長比例。
而上述指標就不適用於社群、電子支付產品,因為用戶與產品互動的方式和電商網站截然不同。 因此建立指標、觀察數據時必須帶有解決商業問題的假說思考,思考數據背後的商業意涵。 如果行有餘力,最好繪製議題樹 (Issue Tree) 再搭配麥肯錫的 MECE 法則 (Mutually Exclusive Collectively Exhaustive),確保自己觀察的數據、問題面向儘可能完整,建立的假說、指標也彼此獨立,以求精準解決問題。
數據分析要有三觀:統計觀、資源觀、風險觀
另外,
《產品數據分析-打造網路產品的決策引擎》這堂課也塑造了我數據分析的新三觀,包括統計觀、資源觀、風險觀。 以數據分析的熱門關鍵字- A/B Testing 為例:
【統計觀】 A/B Testing 說穿了就是用戶行為對照實驗,然而實驗結果是否準確,需要考慮的因素繁多。好比:抽樣篩選條件是否正確?樣本數是否足夠而具代表性?測試方式是否能正確地驗證假說?實驗結果是否有顯著差異足以驗證假說?
種種問題,都與統計概念有關。 所以須具備正確的統計基礎概念,以打造信度、效度皆佳的 A/B Testing。 【資源觀】 由於 A/B Testing 需要開發測試實驗組的使用介面流程並埋追蹤碼,等同公司要額外撥出一倍以上的資源進行實驗,加上蒐集測試數據也需要時間。這意味 A/B Testing 可能會排擠其他功能開發的時程。
資源永遠有限,得謹慎思考哪些專案有 A/B Testing 的必要性;另外課程中老師提到:在產品快速成長階段導入較佳,一方面可以很快蒐集足夠的樣本數,二方面開發人力與資料倉儲管理較充足。 【風險觀】 同時,A/B Testing 是有其風險存在的,比如實驗的項目範圍,對用戶體驗、功能使用、系統負荷、程式效能的影響程度有多大?這些皆需審慎思考並預先設計
預防或應變措施,才不至於嚴重影響產品的關鍵指標,發生辛苦工作還被老闆請喝茶的悲劇。
好課人人都可上?建議有實務 PM 營運經驗再進門
《產品數據分析-打造網路產品的決策引擎》課程不僅有大維與辰禧的資料分析實戰經驗,也引用多筆矽谷知名新創公司發表的文章影片,內容豐富解說詳細,如果有 PM 或營運同學想提升數據思考的廣度、深度,我非常推薦入坑。 相對的,這堂課數據指標、產品管理名詞滿天飛,沒用過 Google Analytics, Amplitude 的朋友,建議還是先當好工具人熟悉名詞,上課比較好懂唷!
願我 5 分鐘的課程心得,讓你職涯之旅少走 3 年冤枉路。