上億行銷預算的決策引擎：在德國擔任行銷分析師的學習 (3)

統計準確性跟業務經驗的攻防

那不如做個實驗吧？我們要的不是相關性，而是因果關係

1. 設想實驗目標

與行銷分析相關的實驗通常和預算有關，像是：我想知道在法國多花100萬在Youtube是不是會維持一樣的投資報酬率？我想知道把品牌關鍵字廣告減少一半的預算是不是可以靠關鍵字搜尋補上？廣播，電視這些傳統媒體還要再投嗎，要投多少？

2. 設計實驗

針對不同實驗的客群或地區，哪些地區/客群應該被選為實驗組，哪些應該被選為對照組，例如Google就有推出以郵遞區號為基礎的Geo-Based實驗單位，搭配上企業過去在各區域的業績，就可以稍微計算出哪些適合當實驗組，哪些適合當對照組

有些傳統媒體不允許小地區投放，那該怎麼做實驗呢？以美國為例可以用“州“為單位，德國以“邦”為單位，跨國企業甚至可以用“國“為單位來進行實驗

有幾個簡要的原則：

• 實驗組跟對照組越多，越能有深入的結果
• 實驗越大（投入越多或是刪減預算越多），越容易讀取有效的訊號
• 實驗單位越大，環境的雜訊越多，實驗的準確性越低

3. 實驗分析

如果在實驗室裡面做實驗，通常的想像是：實驗組跟對照組在實驗之前沒有差別，實驗開始後，我們會看到實驗組的改變，實驗組跟對照組的成果就是實驗的結果

在現實世界裡的實驗要達到這個條件相當困難，例如「實驗組跟對照組在實驗之前沒有差別」，沒有差別是在業績上，毛利上或是顧客轉化率沒有差別？是過去三個月，過去六個月沒有差別？是成長率，季節波動都一致？

「在實驗之後實驗組跟對照組的差異」這差異要怎麼讀？看起來若有似無的差異在統計上有沒有顯著？我要算一個月，兩個月，三個月？有沒有遞延效應？是每一個實驗組都有相似的表現，還是有些沒有？我最後又該怎麼計算投資報酬率？

市面上有蠻多分析方法，例如Google就有推出一些模組讓分析師去套用，把上述的假設跟條件都想好之後，就能進行分析了

延伸資源：Google Causal Impact R - Package, Baysian Model Structural Time Series

4. 把實驗分析的結果丟回原有的模型

分析做完之後，我們就可以把實驗的結果當成真實的情況，運用這個結果來修正原本的MMM（行銷組合模型），把實驗的數據轉化成模型裡的參數，例如說：電視廣告的實驗結果顯示，投資報酬率是3，但原本的MMM模型算出來是5，那我就可以用3當成一個參考值來訓練模型

實驗也可用來調整模型中的商業假設，例如實驗結果顯示，Youtube的長尾效應大概只有兩週，而且逐日遞減，那我也可以拿來修正MMM裡面長尾效應的參數，實驗做得越多元，就越能理解不同行銷活動在不同市場，不同通路，不同預算下的投資報酬率，就可以讓行銷組合模型越來越貼近現實

即使實驗是個很棒的驗證方式，卻也不是定海神針，一個設計不良，分析不縝密的實驗的結果並不值得信賴，要能讀到有效的結果，實驗的成本也不低，要能大量，快速進行實驗更是非常困難，需要很成熟的分析量能還有密集的協調溝通，適用的企業，市場都相對限縮

在績效數字背後，是一群人努力的結果