認識A/B Testing:利用A/B Testing驗證價值主張

更新於 2020/05/21閱讀時間約 8 分鐘
沒有看過豬走路也有吃過豬肉(?),就像a/b testing一樣!很多網站其實都有偷偷在使用噢。它是一種網站拿來快速測試改版、效果及功能的方法之一,測試結果可以幫助我們拿來協助設計改動及商業決策。

數位轉型案例-貝佐斯改造華盛頓郵報

來,在開始認識 A/B Testing前,我們先來聊聊Amazon的經典案例。
在行動網路興起、社群加強了新聞載入的速度後(Instant Articles-加速新聞載入工具),大量削減了傳統媒體的曝光機會,導致許多報社面臨倒閉。
2013年,亞馬遜的創辦人貝佐斯(Jeff Bezos)以2.5億美元買下了有著140多年歷史、瀕臨倒閉的《華盛頓郵報》,在短短三年的時間內,就讓它起死回生,成功將傳統郵報帶入數位時代。到了2015年11月,《華盛頓郵報》在美國的網站獨立訪問數更是正式超越了《紐約時報》。
貝佐斯接手後,並沒有涉入太多華盛頓郵報的編輯政策,他說:「我對報業一無所知,但了解網絡」,所以反而立刻著手改造《華盛頓郵報》的企業體質,重新將他們定調為「媒體與技術」公司。
利用強大的互聯網經驗,貝佐斯採取了一項作法。首先,他募集大量的工程師,利用他們開發了一套名為Arc的軟體,專門為媒體業提供數據分析及行銷的功能,達到「以數據資料驅動決策」的目的。
而這個軟體所收集數據的方法,就是A/B Testing。

什麼是A/B Testing呢?

簡單來說,A/B Testing就是把想要測試的版本、方案分別做成A版與B版,再利用工具(如:Google Analytics),將造訪網站的人流隨機、平均分配到剛剛預設的兩個版本中,最後選擇表現較好的正式上線。
以剛剛《華盛頓郵報》的案例來說,他們的做法是在發出同一則新聞時,會用不同的版本組合(不同的標題、圖片、故事框架等等)下去做測試,數十秒後,Arc就會根據剛剛收集到的數據,將該則新聞即時換成反應最好的組合。
A/B Testing 運作方式

做A/B Testing的步驟

那我們要如何開始呢?可以簡單分為以下幾個步驟:
Step.1:定義目標
首先,我們得清楚定義出一個這次要達成的目標,一次一個,通常可以用加、減來做設定。例如:提升點閱率至X%、降低跳出率至X%等。
訂定目標是為了使測試更聚焦,同時也較能蒐集到可量化的數值供檢討。通常測試的目標也是網站的目標,而網站的目標也與公司的商業策略有密不可分的關係。
也就是說,目標最好要幫助我們提升營收。
Step.2:機會/問題
再來,可以檢視我們自身網站在市場、企業內部及用戶的需求上看到什麼機會或問題點。機會與問題常常是同時存在的,可以想很多個,但是記得要與測試的目標有關。
為什麼要這樣做?因為全盤分析過所有問題後,我們才能更精準地做假設方案。
Step.3:假設
接下來,我們就能根據上面討論的機會/問題點做假設,也就是提出可能達成目標的方案。
這是最重要、最需要思考的一個階段,需要想出客觀、可驗證度高的假設,收集到的數據才有意義。
假設方案不一定是頁面UI的調整,也可以是寫寫不同風格的文案、網站功能的增減、促銷活動不同的組成,只要是任何能夠對應到問題的方案都能做假設。
Step.4:測試
最後,以剛剛的假設分別製作A、B版本進行測試。
測試時有一點很重要,每次的測試不能有大幅度更改,只能有一項變因。另外,同一個用戶在每次的造訪過程中,看到的必須要是同一個方案、頁面,不能一下看到A一下看到B,會影響測試結果。
A/B Testing 結構

來舉個例

我們來舉個簡單的例子,會更清楚。
以新聞媒體來說:
Step.1:定義目標
先訂出這次想要達成的目標——「提升影片點擊率至10%」
再來想想對於這個目標,我們有什麼機會/問題。
Step.2:機會/問題
恩…思考了一下,我認為新聞媒體有著「消息第一手」的優勢,最新的消息內容也是整個網站中用戶最想要看、定期觀看新聞的原因之一,所以我認為它是我們能夠利用的機會點,可以有效達成目標。
Step.3:假設
現在網站的最新影片,我想知道是依照「事件」分類,還是「人物」做分類,能夠有效提高我的點擊率。
所以,我假設影片以「人物」或「事件」做分類,可以有效幫助我達成目標。
Step.4:測試
最後,我做出兩個影音頁,變因設定爲分類方式,下去做A/B Testing。
與原影片點擊率做比較,若「人物」分類的版本點擊效果好,而「事件」與原點擊率比較後不變,我們就能知道,照「人物」分類較好。甚至以它做為控制組,再試試其他不同的分類組合,也能延伸出像是顏色、位置的測試 。若剛剛的測試效果都不太好,可以回去之前的步驟做檢討與修正,也可以進行其他方案假設的測試。
範例 — 提升影片點擊率

什麼時候可以使用A/B Testing呢?

聽完許多案例,那麼到底在什麼樣的時間點可以使用A/B Testing呢?是企劃階段、設計階段還是網站上線後進行呢?
.
.
.
.
答案:以上皆是
所有的開發階段都可以使用A/B Testing來做測試噢!只要哪個環節有疑問,而團隊的成員都不確定結論時就可以做,差別只在於最後收集數據的方式會有所不同罷了。
只要有問題就可以測,但是越前面的階段越重要,越需要釐清。
對UX來說,A/B Testing一開始可以用在「價值」的探索。
價值就是指用戶最在意、最想要的一個心理訴求點,而我們針對這點能給出去的東西。
UX思考環節

概念性驗證

那麼,可以如何驗證價值呢?
我們可以做 概念性驗證(Proof of Concept;POC)
它是針對 「概念」所提出的解決方案,目的在於擷取出最精要、核心的解決方案,用來作為解釋架構的依據。是在做產品前需要去想的東西,唯有我們的價值理念在市場上獲得青睞,才有久存的意義。以商業策略做考量,想想我們能帶給用戶什麼樣的價值,並與用戶心中的價值觀吻合,才能開發出真正被需要的產品及服務。否則很容易迷失方向,落入低價競爭的惡性循環。
概念性驗證的第一步就是價值驗證(Pretotype),而在進行價值驗證時,我們可以做A/B Testing。
概念性驗證

再來舉個例

那麼,價值驗證的A/B Testing長什麼樣子呢?
價值是比較心理層面、感性的東西,而不是想要什麼樣的功能,我們來舉個例子。
一樣以新聞媒體為例:
Step.1:定義目標
首先,訂定我們的目標—確認「每日看新聞的用戶,心中的價值」是什麼。
Step.2:機會/問題
恩…我認為觀看新聞的用戶可能會有幾種,其中兩項最有可能、並且是我們能提供的機會點為:
  1. 為了與人建立社交話題而觀看新聞,我們能提供「話題製造」的價值。
  2. 在閒暇時想要滿足好奇心而觀看新聞,我們能提供「爆卦」的價值。
Step.3:假設
在兩個不一樣的價值下,我分別對它們做假設方案:
  1. 為了驗證話題製造是不是用戶的價值,我收集所有社交時可以應用的話題文章,並加上「社交話題」的導引在分類上。
  2. 為了驗證好奇心是不是用戶的價值,我在文末加入一個CTA(Call-to-Action)—加入會員就能觀看某專家對這則新聞的觀點評論,引發他想要看下去的好奇心。
Step.4:測試
測試後,我發現「社交話題」導引的點擊率相當高,而因CTA加入會員的人數則很少,那我就能確認用戶目前的價值方向是在社交話題的製造上。
範例 — 價值驗證
當然,網站不會只有一種用戶、一種價值,日後我們可以將用戶分群,並依商業價值做主要及次要的探討。

結論

進行UX研究有許多方法,然而A/B Testing是相對單純、快速的修正方式,不管在哪個階段都適用。
測試的結果並不代表最終的結果,它只是一個不斷修正改版過程中累積的數據,幫助我們下一次調整得更加精準。
就如同它的另一個說法:A/B Testing—Always Be Testing。
avatar-img
2會員
2內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
耶穌在世界各種宗教裡有種特殊性,這也是他被列入著名哲學家的原因,就是他提出來的宗教見解非常不同,整個人類歷史上,在目前已知的範圍裡,只有釋迦摩尼的論述能有同樣影響力,差別在於,佛教經典是經過長年辯論後的產物(早在釋迦之前印度教就開始,但最早的佛經卻是佛陀死後四五百年才出現),但耶穌則是自己一個人掀起
Thumbnail
Google Meet 5月開始陸續更新使用者的介面,新版介面在視覺上和使用上都更簡潔、容易操作。這次透過這篇文章帶老師們快速瞭解一下吧!
Thumbnail
Cysteamine,又稱為「2-氨基乙硫醇」或是「半胱胺」,是在哺乳類細胞內生理反應中可以生成最簡單的氨基硫醇類(Aminothiol)結構物[氨基-NH2;硫醇-SH],其化學結構如上圖所示。而這成分目前最常見的外用目的就是當作美白成分使用。主要有以下幾點原因...
Thumbnail
Shall we dance? (可以和我跳隻舞嗎?) 試問:這樣的起手式你想到的畫面。
Thumbnail
Growth Marketing這個詞在近幾年開始多人討論,很多時候人們都會把Online Marketing/Digital Marketing跟Growth Marketing混淆,而事實上兩者的確很相似,因為原則上都離不開通過數碼平台和數碼技術去吸納潛在客戶,而讓兩者之間最不同的地方在於整個
Thumbnail
Playtype是一項Synergy推出的動態數據。NBA官網免費提供、別於傳統紀錄表上的內容讓它成為近年寫手的新寵兒。但也因此成為最容易被誤用與過度解讀的數據。(update: Oct 2019)
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
耶穌在世界各種宗教裡有種特殊性,這也是他被列入著名哲學家的原因,就是他提出來的宗教見解非常不同,整個人類歷史上,在目前已知的範圍裡,只有釋迦摩尼的論述能有同樣影響力,差別在於,佛教經典是經過長年辯論後的產物(早在釋迦之前印度教就開始,但最早的佛經卻是佛陀死後四五百年才出現),但耶穌則是自己一個人掀起
Thumbnail
Google Meet 5月開始陸續更新使用者的介面,新版介面在視覺上和使用上都更簡潔、容易操作。這次透過這篇文章帶老師們快速瞭解一下吧!
Thumbnail
Cysteamine,又稱為「2-氨基乙硫醇」或是「半胱胺」,是在哺乳類細胞內生理反應中可以生成最簡單的氨基硫醇類(Aminothiol)結構物[氨基-NH2;硫醇-SH],其化學結構如上圖所示。而這成分目前最常見的外用目的就是當作美白成分使用。主要有以下幾點原因...
Thumbnail
Shall we dance? (可以和我跳隻舞嗎?) 試問:這樣的起手式你想到的畫面。
Thumbnail
Growth Marketing這個詞在近幾年開始多人討論,很多時候人們都會把Online Marketing/Digital Marketing跟Growth Marketing混淆,而事實上兩者的確很相似,因為原則上都離不開通過數碼平台和數碼技術去吸納潛在客戶,而讓兩者之間最不同的地方在於整個
Thumbnail
Playtype是一項Synergy推出的動態數據。NBA官網免費提供、別於傳統紀錄表上的內容讓它成為近年寫手的新寵兒。但也因此成為最容易被誤用與過度解讀的數據。(update: Oct 2019)