方格精選

上億行銷預算的決策引擎:在德國擔任行銷分析師的學習 (3)

更新於 發佈於 閱讀時間約 7 分鐘

前導連結

上億行銷預算的決策引擎:在德國擔任行銷分析師的學習(1) - MTA行銷歸因

上億行銷預算的決策引擎:在德國擔任行銷分析師的學習(2) - MMM行銷組合


在前面兩篇的討論中,身為行銷分析人員的我們終於對於行銷績效有點理解了,但千辛萬苦地把模型跟報表建立起來後,把結果呈現到行銷主管面前時,一定會被問:你有信心這個數字是對的嗎?我如果聽你的建議,我會在電視廣告多下1千萬,你有信心他會回本?

其實這件事情真的很難說的準,沒有人真的知道真實世界的全貌,任何預測模型都必定有偏誤,最常遇到的是統計模型的結果跟商業直覺,或是過去的方法結果差異很多,那我們要怎麼去檢證跟溝通?

統計準確性跟業務經驗的攻防

統計常用的檢證方式,是做任何數據模型都相當好用的工具,例如顯著性(Significance)越高越好,代表訊號越明確,判定係數(R-Square)越高越好,代表模型解釋力很高,絕對百分比誤差(MAPE)越小越好,代表預測的準確度越高。這些統計檢證通常讓我們比較有辦法跟決策端溝通:至少在統計上,這個模型的預測力如何,以及我們有多少的信心說出這個結論

raw-image

但就算我端出一個統計檢證完美,邏輯縝密的模型,大家會相信嗎?經濟學人曾經做過一個調查報告,指出大多數的管理層看到跟自己經驗不符的數據時,他們會大力挑戰,很多時候會找替代的分析方式來做出自己比較能接受的結果,我自己的經驗是,當分析結果管理層的利益有潛在衝突時,會更容易被挑戰

那不如做個實驗吧?我們要的不是相關性,而是因果關係

「做了才知道」通常是解決大家疑慮的最後手段,畢竟大多數的統計模型都在講相關性,而非因果關係,只有實際做了才知道有什麼結果。但是,躁進的丟入上百萬的預算,或是砍掉一整個部門都不是縝密決策的方式,更不可能有主管答應你這麼做

「做個實驗吧?」是近十年來蠻常見的做法,電子商務來說,跟一些主要的廣告投放平台例如Google,Facebook合作,都可以進行實驗設計跟分析,大致來說有幾大步驟:

raw-image

1. 設想實驗目標

與行銷分析相關的實驗通常和預算有關,像是:我想知道在法國多花100萬在Youtube是不是會維持一樣的投資報酬率?我想知道把品牌關鍵字廣告減少一半的預算是不是可以靠關鍵字搜尋補上?廣播,電視這些傳統媒體還要再投嗎,要投多少?

2. 設計實驗

針對不同實驗的客群或地區,哪些地區/客群應該被選為實驗組,哪些應該被選為對照組,例如Google就有推出以郵遞區號為基礎的Geo-Based實驗單位,搭配上企業過去在各區域的業績,就可以稍微計算出哪些適合當實驗組,哪些適合當對照組

有些傳統媒體不允許小地區投放,那該怎麼做實驗呢?以美國為例可以用“州“為單位,德國以“邦”為單位,跨國企業甚至可以用“國“為單位來進行實驗

有幾個簡要的原則:

  • 實驗組跟對照組越多,越能有深入的結果
  • 實驗越大(投入越多或是刪減預算越多),越容易讀取有效的訊號
  • 實驗單位越大,環境的雜訊越多,實驗的準確性越低
raw-image

3. 實驗分析

如果在實驗室裡面做實驗,通常的想像是:實驗組跟對照組在實驗之前沒有差別,實驗開始後,我們會看到實驗組的改變,實驗組跟對照組的成果就是實驗的結果

在現實世界裡的實驗要達到這個條件相當困難,例如「實驗組跟對照組在實驗之前沒有差別」,沒有差別是在業績上,毛利上或是顧客轉化率沒有差別?是過去三個月,過去六個月沒有差別?是成長率,季節波動都一致?

「在實驗之後實驗組跟對照組的差異」這差異要怎麼讀?看起來若有似無的差異在統計上有沒有顯著?我要算一個月,兩個月,三個月?有沒有遞延效應?是每一個實驗組都有相似的表現,還是有些沒有?我最後又該怎麼計算投資報酬率?

市面上有蠻多分析方法,例如Google就有推出一些模組讓分析師去套用,把上述的假設跟條件都想好之後,就能進行分析了

延伸資源:Google Causal Impact R - Package, Baysian Model Structural Time Series

4. 把實驗分析的結果丟回原有的模型

分析做完之後,我們就可以把實驗的結果當成真實的情況,運用這個結果來修正原本的MMM(行銷組合模型),把實驗的數據轉化成模型裡的參數,例如說:電視廣告的實驗結果顯示,投資報酬率是3,但原本的MMM模型算出來是5,那我就可以用3當成一個參考值來訓練模型

實驗也可用來調整模型中的商業假設,例如實驗結果顯示,Youtube的長尾效應大概只有兩週,而且逐日遞減,那我也可以拿來修正MMM裡面長尾效應的參數,實驗做得越多元,就越能理解不同行銷活動在不同市場,不同通路,不同預算下的投資報酬率,就可以讓行銷組合模型越來越貼近現實

即使實驗是個很棒的驗證方式,卻也不是定海神針,一個設計不良,分析不縝密的實驗的結果並不值得信賴,要能讀到有效的結果,實驗的成本也不低,要能大量,快速進行實驗更是非常困難,需要很成熟的分析量能還有密集的協調溝通,適用的企業,市場都相對限縮

在績效數字背後,是一群人努力的結果

raw-image

在數據科學上我們有很多的工具,來剖析行銷人心中的蝴蝶效應,幫助決策者把錢花在更有效的地方,但如果你也在做行銷分析,請把這句話記在心裡,「在績效數字背後,是一群人努力的結果」

每個行銷活動都是行銷部門規劃數個月甚至多年的心血,當我們在某部門的行銷主管面前說:“去年你們行銷活動的投資報酬率根本不到1,所以我們不建議明年再投入任何預算”,不管是真是假,你的分析方法都不會得到他們的信任,他們更會窮盡方法挑戰你模型中的每一個假設,提出大量市場報告來反駁你的結論,因為他需要保住他的預算,團隊甚至工作

在過去幾年的經驗裡,我發現行銷分析的工作更多在於溝通,讓越多行銷人員可以參與,分享不同分析觀點,接納不同的假設,驗證再修正分析成果,在統計效度跟商業經驗中作平衡,這樣的分析團隊也才能被信任,慢慢地行銷分析的結果就能變成決策的基礎

延伸閱讀:在商業分析師的工作裡,人比數字更重要


感謝你的閱讀,喜歡這篇文章的話歡迎幫我們點讚分享,訂閱我們的專題喔!


留言
avatar-img
留言分享你的想法!
蓋爾-avatar-img
2021/12/30
好感謝這樣簡明扼要、字句皆重點,行銷最大的難關在於對內溝通與取得信任,然後再協力合作共同驗證結果與不斷地修正,謝謝你的文章🙏 最近花最多的心力都是如何與合作對象找到有效的溝通方式,也的確是最需要努力的一部分,收穫滿滿!
Stevehuang-avatar-img
發文者
2021/12/30
謝謝你的回覆!希望能幫助到你的工作:)
avatar-img
Dave Huang的沙龍
112會員
66內容數
一分鐘可以做很多事情,可以燒壺咖啡,可以跑幾百米,還可以調素琴,閱金經。 而我們用這一分鐘,縮短你和德國的距離
Dave Huang的沙龍的其他內容
2022/01/11
前陣子收到客戶對於我方負責程式開發A同事的抱怨,原因是客戶認為這個A同事都沒在做事。從我的角度來說,的確A同事負責的開發項目已經有所延遲,同時這個A同事平常也很難聯繫,所以不只是客戶,我也一直無法掌握他的開發進度。 如果說專業能力是一艘船,那溝通能力就是海浪,成功帶你到客戶的彼岸。
Thumbnail
2022/01/11
前陣子收到客戶對於我方負責程式開發A同事的抱怨,原因是客戶認為這個A同事都沒在做事。從我的角度來說,的確A同事負責的開發項目已經有所延遲,同時這個A同事平常也很難聯繫,所以不只是客戶,我也一直無法掌握他的開發進度。 如果說專業能力是一艘船,那溝通能力就是海浪,成功帶你到客戶的彼岸。
Thumbnail
2021/12/28
我們在第一篇提到基本的行銷歸因(Marketing attribution)概念,但這些歸因法則其實受惠於線上追蹤系統的興起,Google Analytics,Mapp或是公司內建的追蹤都可以讓行銷人員理解:消費者的點擊,瀏覽與交易,但把視野只放在線上蹤跡是很片面的
Thumbnail
2021/12/28
我們在第一篇提到基本的行銷歸因(Marketing attribution)概念,但這些歸因法則其實受惠於線上追蹤系統的興起,Google Analytics,Mapp或是公司內建的追蹤都可以讓行銷人員理解:消費者的點擊,瀏覽與交易,但把視野只放在線上蹤跡是很片面的
Thumbnail
2021/12/22
行銷分析在這幾年相當熱門,到底這個部門在做些什麼呢?行銷部門是典型公司最花錢的部門之一,把錢投資在越有效的管道,建立越強大的行銷策略,就是行銷主管最在乎的事情,所以行銷分析的目的說穿了只有一個:分析並找出最佳績效的組合
Thumbnail
2021/12/22
行銷分析在這幾年相當熱門,到底這個部門在做些什麼呢?行銷部門是典型公司最花錢的部門之一,把錢投資在越有效的管道,建立越強大的行銷策略,就是行銷主管最在乎的事情,所以行銷分析的目的說穿了只有一個:分析並找出最佳績效的組合
Thumbnail
看更多
你可能也想看
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
有別於試圖直接從數據中找出洞察,商業分析的精髓在於先思考 so what——從定義目標開始,做出商業決策的雛形後,才用數據去支持假說。這篇文章介紹 A/B 測試的技巧,以及摘櫻桃的應用,解說數據篩選的操作、摘櫻桃的好處,以及企業案例:數位轉型後的報社,亞馬遜CEO貝佐斯改造百年郵報。
Thumbnail
有別於試圖直接從數據中找出洞察,商業分析的精髓在於先思考 so what——從定義目標開始,做出商業決策的雛形後,才用數據去支持假說。這篇文章介紹 A/B 測試的技巧,以及摘櫻桃的應用,解說數據篩選的操作、摘櫻桃的好處,以及企業案例:數位轉型後的報社,亞馬遜CEO貝佐斯改造百年郵報。
Thumbnail
身為行銷人,我們常常面臨這樣的情境,在有限的資源及時間下,如何說服老闆及客戶這筆行銷預算花得值得?如何展現對於品牌、公司的產值呢?事實上網路時代很多事情可以被量化,許多人對於導入量化行銷可能有所疑慮,我們如何建構量化行銷全局觀?
Thumbnail
身為行銷人,我們常常面臨這樣的情境,在有限的資源及時間下,如何說服老闆及客戶這筆行銷預算花得值得?如何展現對於品牌、公司的產值呢?事實上網路時代很多事情可以被量化,許多人對於導入量化行銷可能有所疑慮,我們如何建構量化行銷全局觀?
Thumbnail
「數據決策」喊了多年,然而真正將數據帶入日常決策的品牌似乎還是少數。對中小企業而言,數據決策的障礙無他,一個是不知道怎麼蒐集有意義的數據,一個是不知道怎麼綜合數據指標,引導出決策線索。此篇提出三個基礎行銷數據供行銷人員參考。
Thumbnail
「數據決策」喊了多年,然而真正將數據帶入日常決策的品牌似乎還是少數。對中小企業而言,數據決策的障礙無他,一個是不知道怎麼蒐集有意義的數據,一個是不知道怎麼綜合數據指標,引導出決策線索。此篇提出三個基礎行銷數據供行銷人員參考。
Thumbnail
上一篇提到《客戶一直猶豫不決?用選擇題來溝通》,這篇將陸續整理我在群眾集資平台擔任集資專案顧問時(a.k.a. 客戶成功 Customer Success),所觀測的各種專案數據指標,分別是 (1) 數據指標的重要性、(2) 領先指標 vs 落後指標、(3) 單一指標 vs 多項指標。
Thumbnail
上一篇提到《客戶一直猶豫不決?用選擇題來溝通》,這篇將陸續整理我在群眾集資平台擔任集資專案顧問時(a.k.a. 客戶成功 Customer Success),所觀測的各種專案數據指標,分別是 (1) 數據指標的重要性、(2) 領先指標 vs 落後指標、(3) 單一指標 vs 多項指標。
Thumbnail
為什麼想了解量化行銷的概念? 說來慚愧,進入品牌端行銷領域近4年,但其實我對於量化行銷的概念卻是近半年才開始理解其意義,也難怪之前不太理解營運長希望我提案的行銷策略。 「量化行銷就是透過數據和技術,複製頂尖銷售員的行為」 數據的種類繁多,但量化行銷著重於:行為數據與用戶數據。 之前在實體連鎖通路任職
Thumbnail
為什麼想了解量化行銷的概念? 說來慚愧,進入品牌端行銷領域近4年,但其實我對於量化行銷的概念卻是近半年才開始理解其意義,也難怪之前不太理解營運長希望我提案的行銷策略。 「量化行銷就是透過數據和技術,複製頂尖銷售員的行為」 數據的種類繁多,但量化行銷著重於:行為數據與用戶數據。 之前在實體連鎖通路任職
Thumbnail
行銷人要能為自己規劃的行銷活動負責並說出老闆聽得懂的話,除了知道自己為公司帶來的價值外,同時也能獲得公司與其他人的重視與尊重。
Thumbnail
行銷人要能為自己規劃的行銷活動負責並說出老闆聽得懂的話,除了知道自己為公司帶來的價值外,同時也能獲得公司與其他人的重視與尊重。
Thumbnail
千辛萬苦地把模型跟報表建立起來以後,把結果呈現到行銷主管面前時,一定會被問:你有信心這個數字是對的嗎?我如果聽你的建議,我會在電視廣告多下1千萬,你有信心他會回本?躁進的丟入上百萬的預算,或是砍掉一整個部門都不會是縝密決策的方式,「做個小實驗吧?」是近年來蠻常見的做法
Thumbnail
千辛萬苦地把模型跟報表建立起來以後,把結果呈現到行銷主管面前時,一定會被問:你有信心這個數字是對的嗎?我如果聽你的建議,我會在電視廣告多下1千萬,你有信心他會回本?躁進的丟入上百萬的預算,或是砍掉一整個部門都不會是縝密決策的方式,「做個小實驗吧?」是近年來蠻常見的做法
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News