產品數據建構流程 | EP4：找到你的產品北極星
目標對於定義和追蹤成功相當的重要，當找出一個正確的關鍵重要指標後，要朝向哪邊前進就會相當清楚了，可是實務上，有相當多的公司在開發產品時，都把關鍵指標訂為【收入增長】，可是當我們在考慮北極星指標(North star metric)時，卻不建議把這營收數字做為指標使用，怎麼說呢？矽谷知名成長駭客 Sean Ellis的一篇文章給出了解答：
其中提到了一個觀點"Why Not Just Focus on Revenue Growth?"，收入增長對於公司來說固然相當重要（尤其是以CEO的位置上來看），可是問題在於，若專注收入的增長，而忽略了產品為客戶提供的總價值增長，那麼公司的營收一定會遇到停滯並下降。
所以說，企業應把重點放在，隨著時間進展，團隊仍不斷的優化產品功能與使用者體驗，提供給客戶更多的價值，自然會帶來相對應的收入增長。
定義正確的指標
目標的定義是甚麼？我特別喜歡知名創投公司Sequoia 資料科學團隊對於目標所論述的觀點（Defining Product Success: Metrics and Goal）：
Goals help connect your mission to your strategy, roadmaps, initiatives and tactics by tying the single metric you care about most with a target and a time frame during which it can be achieved.
當公司訂下了自己的目標後，接下來就必須找出那個評估成功與否的重要指標（就是本篇不斷提到的北極星指標）。一個好的北極星指標應該是可以驅動產品的願景和公司的使命，例如eBay的商業願景是“enabled by people, powered by technology and open to everyone.”，使命則為"to be the world's favorite destination for discovering great value and unique selection.”，白話一點來說，eBay就是希望每個人都能在它的平台上以合理的價格找到自己想要的任何東西。
因此，單以eBay這家公司來看，甚麼是比較適合的北極星指標呢？
網站上購物的活躍用戶數量以及活躍買家數量或許就不太適合，因為沒辦法滿足消費者是否真的以合理的價格找到想要的東西，以及獨特選擇的商業使命。所以最佳的指標，要符合eBay願景與使命的最貼切指標，應該就是「the market share of the sale of unique selections」，《可是瑞凡》，unique selections也太主觀，太難定義了吧！
退而求其次，eBay最後選擇了「gross merchandise volume (GMV)」或者「total value of merchandise sold over a period of time」，雖然這樣的指標不夠完美，可是它仍能體現到eBay的願景與使命的最終精神，就有如產品界流傳的一句話：
Picking the right metric can be as much art as it is science.
從提供客戶價值做為思考起點
延續上面所聊到的，要建立一個好的北極星指標，必須先從了解客戶，如何從產品獲得價值開始思考起。
Sean Ellis在文章中指出，客戶不能泛指任何客戶，而必須聚焦於"must have customers"，這群人的特點是若他們不能再繼續使用你的產品，心情將會非常非常失望。所以代表著產品已經對於這群客戶產生了"must hava value"，而北極星指標就是為了量化此價值而產生。
換句話說，假如你的產品沒有讓很多客戶感受到"must have"，那你就不應該思考著如何找出北極星指標，回過頭來，反而需要先把重點擺在將產品推進到Product-Market fit的階段（代表至少要先找到一群熱愛你產品的用戶）。
所以說了，北極星指標通常具備幾個特質：
- 它能夠衡量客戶發現產品價值的時刻 (A-ha Moment)。
- 它能夠表現目前產品的核心戰略，指引出確實可執行的任務（Represent Product Strategy）。
- 它是一個和未來營收相關的領先指標、而不是落後指標（Leading Indicator of Revenue）。
- 它的產生需要團隊齊心協力、共同發展。所以他需具備夠簡單明瞭，讓團隊每個人都能理解並記住它(Understand it and recall it)。
除了eBay外，我們繼續來看幾家知名企業的北極星指標(North star metric，以下簡稱NSM)，Facebook的(NSM)為每日活躍用戶數(DAU)，AirBnB的(NSM)則是預定的天數，Uber的(NSM)為搭乘次數，而Spotify的(NSM)則是聆聽音樂的時間。
以上這些(NSM)都具備一個共同特點，隨著時間的推移，指標會"Up and to the Right"變化，像若以「30天留存率」做為(NSM)就會不太適合，因為可達到的最大值就是100%，這也是為何Facebook或一些online game的公司選擇DAU做為(MSN)的理由。以Uber為例，他的北極星指標選擇了「搭乘次數」，就有符合上述一個好的指標特質：
1. 「搭乘體驗」是客戶使用Uber服務實際發揮價值的時刻
2. 提升「搭乘次數」為一個可確實執行的目標
3. 「搭乘次數」與公司營收有直接相關，成功的搭乘媒合次數越多，公司就可獲得更多營收
該死的虛榮指標
特別要注意的一點，北極星指標要避免落入虛榮指標的誤區，正因如此，指標的增長反而會導致團隊往危害商業長期發展的方向前進。Sean Ellis在文中提到一個很好的範例，假如你將 NSM 設為“average monthly revenue per customer”，那麼增加這個數字的最快方法是不繼續服務那些平均貢獻價值相對較低的客戶，即使他們會為公司帶來營收；而另一個糟糕的指標是“monthly app downloads.”聽起來好像沒甚麼問題，但遵循這指標可能會帶來數百萬從未真正使用過您的產品下載。
可想而知，找出一個好的NSM，其實是門大學問，必須經由反覆推敲及驗證的，不斷思考產品特質及核心價值，最後才能找出產品對於客戶的A-ha Moment。（有興趣的話建議參考這篇指南：North Star Playbook。）
專注一個關鍵指標就夠了嗎？
如此，勢必有人會問，找出一個指標就夠了嗎？這問題可是各說各話，有人表示北極星指標意味著最重要指標，所以只需專注這一個指標就好（One metric that matters），但也有另一派人認為專注一個指標，其實過份簡化了產品的複雜性。
這兩種說法，曾經在新創圈引起了討論：
持正面立場的認為North star metric 對於聚焦的重要性，可使團隊成員朝著同一個方向前進，且北極星指標也代表著公司的使命(Mission)，具有長遠的價值意義；持反對的則認為"A company is an ecosystem and your metrics are the various species that make up that ecosystem."，既然是一個生態系統，產品就應該會有很多不同面向的指標，North star metric僅只是產品系統中的 Output，並非 Input，如果只單看Output metric 則沒辦法找出跟產品較相關，較actionable的metrics。
我自己看完這兩篇文章後，覺得雙方面的論述都是有道理的，所爭論的分歧點其實並不是指同一件事，差距是因為每個人對於指標的解讀切角不一樣。
Sean Ellis不斷強調的是，單一關鍵指標可以為團隊中每個人在推動產品增長時有一制性的依歸，讓大家有共同聚焦的方向，但是仍需要有其他的指標階層去關注不同的問題。文章中另外提到一段有趣的話“Everything should be made as simple as possible, but not simpler.”一切要盡可能的簡單，但又不能太簡單。（內心OS，矽谷數位大師一定要這麼哲學嗎？）
回到實務面，通常我也習慣將北極星指標拆解成幾個會影響業務成長的關鍵因子。剛好在"Don't Let Your North Star Metric Deceive You"，此篇文章裡，作者提出了一個從輸出發想輸入的框架，我覺得是一個蠻實用的概念，趁這機會跟大家分享。
輸出指標代表結果，輸入指標代表行動。而北極星指標會是 Output Metric，你需要從預期的輸出結果發想並衍生出一系列需要投入的任務，來提升你的北極星指標。
以最近打得精彩的NBA季後賽來比喻，Output Metric就是計分板上呈現的最後數字，要如何贏得比賽？就需要取決於採用何種戰術、怎麼安排球員輪替對位，或者攻防陣式為甚麼...等作為輸入（Input Metric）。總不能最後像鄉民很愛談的一句話，「我知道怎麼贏下比賽，最大關鍵點就在於得的分數要比對方多。」(不是廢話嘛！)
以Spotify作為例子，來解釋怎麼應用這思考框架。用戶在使用Spotify產品中獲得最大價值時，就是享受聽歌的樂趣，所以將北極星指標訂定為「花在聽音樂上的時間」(Output Metric)。接下來，我們還可以衍伸一個問題詢問自己：
我們可以採取哪些措施來引導用戶花費更多時間在音樂上？
這時，應該會浮出兩個可能的答案：
- 讓用戶更頻繁的使用Spotify
- 讓他們在每次造訪Spotify時花更多時間聆聽音樂
進一步往下拆解這兩個選項，這個階段會更接近產品的可操作性，其目標就是透過此方式drill dowm更細部化的輸入指標，讓團隊人員可實際操作改善。
所以一個有效的「北極星指標」，應該是能夠拆解為一個指標群(Constellation of Metrics)，單個指標只能看到成長的一部分，但是多個指標(multiple metrics)才可以全面了解商業發展狀況。
而要衡量企業有沒有往正確的方向走，指標的訂定原則上，還可分成三個關鍵維度：
- 留存廣度Breadth of retention
- 參與深度Depth of engagement
- 變現程度Monetization
指標間的權衡(tradeoffs)
文中還有探討到另一個重點是，沒有任何一個指標可以是完全孤立存在的，假如關注的指標群中，有一個指標上升會影響到另一個指標的下降，就需要特別去理解這種權衡關係。
假如我們身在LinkedIn 的增長團隊中，其中的一大目標是提高news fees的廣告收入。這時我們可以選擇ad revenue per user作為您的北極星指標。我們要增加此數字增長，選擇插入更多廣告，此時確實每位用戶的平均廣告收入會提高，但是又產生了一個隱含問題—用戶因為廣告變多後，導致使用體驗變差，使用頻率和產品評價因此就下降。
快速實際演練
閒聊了這麼多，該進入正題了，找出我們產品「好好居」的北極星指標。
一開始，假設「好好居」的產品使命為「有效的媒合平台上的買家與賣家」。其中，【有效】涵蓋了效率-使買家更快速找到物件，以及效能-使買家能廣量的搜尋到適合自己的物件，假設公司團隊都認可了這個使命目標，接下來，就是挖掘出哪一個北極星指標，最能涵蓋且驅動此設定的目標。
一般人最直觀的思考，「獲得的預約看屋表單數量」做為北極星指標適合嗎？
雖然表單總數確實可告訴我們，當買家看到喜歡或適合的物件時，就會進行表單送出，但這存在一個思考陷阱，就是因為表單送出是不需要付費的，因此，有很大機會表單是集中在某一些買家或賣家身上，這種情況就無法滿足「皆有效媒合」的這個目標準則。（稍微解釋一下，這跟Uber的情境有些不同，雖然Uber也是雙邊平台，但它以「搭乘次數」作為北極星指標就比較合理，原因有二，第一點，Uber是透過每一次完成的搭乘體驗獲得營收；第二點，則是搭乘媒合是透過平台挑選路徑最短的合適司機，所以不會有大量集中於某一司機的問題）
除此之外，還有一個更嚴重的延伸問題，倘若公司以「獲得的預約看屋表單數量」做為北極星指標，哪一天老闆說為了要提高這個數值，我們選擇的商業選項是，提供廣告版位或廣告服務予賣家，此時，擁有雄厚資本的房仲業者就可以大量砸廣告預算在平台上，搶先曝光物件。
不意外地，預約看屋總數確實有大量增加，只是反而過度集中於肯砸錢的大賣家們，連帶影響多數小賣家的物件產品成效更差，產生前面提到的tradeoffs效應，更嚴重的是，沒資源的小賣家陸續出走，平台留下的多是資源雄厚的賣家，反之，買家更無法有選擇性的挑選適合的物件，最後如滾雪球般的使產品價值逐漸惡化。
所以為了避免成效陷阱，以至於決策判斷錯誤的情況產生，我認為比較好的北極星指標應該可訂為「每一賣家有收到預約表單的總數/每一賣家上架物件總數」，這指標除了確保買家有找到適合自己的產品外，還可以保證每一賣家在平台上獲得均等分配後的價值（有一個前提假設，「好好居」裡的賣家上架是需要上架費，所以賣家上架的物件數愈多，自然就會希望獲得更多的預約看屋表單）。
以上示範，我們已經藉由一致性的思考脈絡與程序，來將「好好居」產品的Output metric和Input metric初步拆解完成。
我獲得的啟發
這集想討論的內容特別多，主要是因為，以我接觸到的許多公司來看，對於建立產品目標與北極星指標大多是「慎重討論，輕輕帶過」，真的不誇張，大概就跟多數人建立減肥計畫一樣「慎重」，其實目標設定、指標定義，以及如何找到好的指標，一直以來，都是門高深的學問（真的很難，而且要取得團隊一定的共識更難）。
此外，我認為單一的北極星指標仍是必須的，因為人類習慣將簡單事情複雜化，但是缺乏將複雜事情簡單化的能力，所以One Metric That Matters使團隊在往前進時，有一個最簡單的方向去追逐，或許是比較好的方法。But（總是有But），在實際進入到團隊操作戰術時，還是有必要拆解成指標群constellation of metrics去落實行動。
最後，綜合以上提到的這兩篇(Don't Let Your North Star Metric Deceive You & Defining Product Success: Metrics and Goal）作者群的觀點，將訂立指標時該注意的事項重點歸納如下：
- 指標群應涵蓋Retention、Engagement、Monetization
- 避免虛榮與不可操作的指標
- 在多個指標之間進行選擇時，請選擇最容易掌控且最符合你產品情況的可衡量指標
- 選擇一個可連接到您的驅動成長程序的簡單指標
- 設定兩個目標：80-20 和 50-50，80-20代表你有80%機會實現的目標，同理，50-50代表只有50%的機會可挑戰實現。
- 清楚理解並追蹤tradeoffs Metrics(or Counter Metrics)
- 隨著業務的發展更改指標，如果需要，不要害怕更改
也許有人說，北極星指標不應該常做更動，但事實上，我們的指標群卻是需要不斷適應商業的增長而做適當改變，時常檢視指標就成為數據團隊必備的一項功課，我們或許永遠找不到一個完美的終點，但惟有不斷的改進才會慢慢趨近完美。
you're never going to find a silver bullet metric, so be sure to zoom in as you experiment, and zoom out as you take a step back to look at your whole ecosystem of metrics.
參考資料：
為什麼會看到廣告
留言0
查看全部