付費限定文章

A/B測試的技巧和企業案例：商業分析的精髓、貝佐斯改造華盛頓郵報的數位轉型｜怪獸科技公司 S2E12.2

在這個數據驅動的時代，有效的統計測試與數據分析，對於將數據轉換成洞察，做出決策的過程中扮演非常重要的角色。

有別於跳入數據海，試圖直接從數據中找出洞察，商業分析的精髓在於先思考 so what——從定義目標（objective）開始，做出商業決策的雛形後，才用數據去支持假說。

本文將帶你了解如何透過 A/B 測試和數據分析，從人性的角度獲得深刻的洞察，並確保你的發現不僅是隨機事件，而是具有真正的意義。

再者，透過《華盛頓郵報》的數位轉型案例，我們可以思考透過數據分析和技術創新來重塑商業模式，並觀察亞馬遜創辦人貝佐斯的思路，是如何將一家傳統報社轉變為一個兼具媒體與技術基礎的公司。

前情提要：
數據分析和 A/B 測試：Netflix為何吸引人、Spotify怎麼用數據做出超猛文案？｜怪獸科技公司 S2E12.1

看見數據問為什麼，從人性獲得洞察

無論你何時進行統計測試，有個重要的告誡要謹記在心：需要檢查你觀察後所獲得的發現，是真的有意義，或者只是隨機發生。

當公司在進行 A/B 測試的時候，實驗者會報告一個特定版本的指標，以及另一個版本比較的結果。他們同時也會報告 p 值，說明觀察到的差異有可能是隨機的機率。

p 值是一個介於 0 到 1 之間的數字，用於表示統計結果是否具有意義（用於測量觀察結果與偶然發生的概率）。p 值越小，結果越有可能不是偶然的。

一般來說，如果 p 值小於 0.05（例如有小於 5%的機會，這個差異是隨機的），可以假設這個差異是有意義的，或者稱為「在統計上有意義」（statistically significant）。否則，不能肯定結果不是單純靠運氣。

【延伸閱讀】

• 敏捷開發：現代科技公司如何因應市場快速變化，打造有亮點的成功產品｜怪獸科技公司 S2E11.1
• 敏捷開發一定要快？破解敏捷和精實三大迷思｜怪獸科技公司 S2E11.2
• 如果自己的人生就像是打造好產品：敏捷開發與MVP如何應用在人生職涯？｜怪獸科技公司 S2E11.3

選擇最有利的機會：什麼是摘櫻桃？

數據篩選的操作，在英文裡有一個特別的名字：摘櫻桃（Cherry-Pick）。這個詞原本是用來描述人們從樹上摘取櫻桃的動作，因為樹木朝向等原因，櫻桃並不會同時成熟，所以需要農民在摘取時進行挑選。

簡單來說，摘櫻桃就是選擇最有利的機會。

摘櫻桃的好處是，可以讓數據的統計結果往對使用者有利的方向改變。

縮小問題，檢視外部問題，檢視內部用戶體驗漏斗

在實務工作如果進行 A/B 測試，我們要確保對用戶分組時，已經考慮到了取樣的均勻性。而且，盡量讓實驗運行的時間長一點，可以多收集數據，這樣也可以讓取樣更加準確（重複取樣）。

評估指標：主要、次要指標

• 要能變不好才能變好
• 有時候不好是追蹤有問題
• 新的不一定不好、可能要適應
• 確定評估指標有平衡指標（counter-metrics，反指標，即衡量反效果的指標）

企業案例：數位轉型後的報社，亞馬遜CEO改造百年郵報

為什麼《華盛頓郵報》的文章都有兩個版本的標題呢？這個技巧就是 A/B 測試。

貝佐斯在 2013 年，以 2.5 億美元收購頻臨倒閉的華盛頓郵報（The Washington Post），在不到三年的時間裡，他徹底改變了這家有著 140 年歷史的報紙，讓它成為一家兼具媒體與技術底子的新公司。

《華盛頓郵報》擅長報導美國國內政治動態，目前也是擁有流量最大新聞網站之一，曾經揭發「水門案」，還有獲得 47 座普利茲新聞獎（Pulitzer Prize），但是它卻在 2009 年第二次網路經濟崛起開始走下坡。

當時接手的葛拉漢家族，在報份急遽下挫的情況下，只好將這家相當具有份量的傳媒，轉賣給電商巨頭亞馬遜。

重新定位為媒體與技術公司

一般而言，商界人士會買下媒體，主要都看中其在政治圈的影響力，但亞馬遜的執行長貝佐斯接手後，反而是著手改造華盛頓郵報的體質，並重新將其定位為「媒體與技術公司」。

貝佐斯採取了兩項作法，先是大量招募軟體工程師，人數高達七百人，這個規模已不亞於矽谷任何一家軟體公司；其次華盛頓郵報全新開發了一套名為“Arc”的軟體，為出版業提供數據分析與行銷的功能，達到由資料驅動（data-driven）新聞決策的目的。