示意圖，由Gemini所製
今天要談的是有點哲學的東西，就是何為不確定性。統計檢定相當重要。科學研究依賴統計檢查來理解一些大道理，像制度是否影響了經濟發展。制藥的實驗室依賴統計檢定來確認新藥是否有效。統計檢查也悠關大買賣。筆者認識的華爾街對沖基金，如果有用到統計模型，通常真的會做假說檢定才決定是否下單。換句話說，若測量出現誤差，可能會得到相當錯誤的決策。
而今天就是來談測量不確定性的兩個主流，也就是所謂的design-based vs sample-based uncertainty，或中文可稱「研究設計為準的不確定性」與「抽樣不確定性」。在大數據盛行的今天，如果我手上有母體資料，還需不需要考慮統計檢定？
在臺灣的話，大部份在教統計檢定或標準誤，都還是站在抽樣為主的大樣本的觀點：假設有一個無限大的母體，然後抽出有限個樣本，但對於社科研究來說，這角度常常很odd，比方說我手上有母體資料，那為何跑迴歸分析時還要做inference？
這問題其實Manski and Pepper (2018)幾年前寫文章時就有抱怨過，Manski的抱怨如下：假如你有美國五十個州跑迴歸，你基本上母體了，該如何詮釋標準誤呢？我們必須要有標準誤，才能進行統計推論，沒有統計推論，怎無法進行假說檢定，所以標準誤的意義跟計算，哪是科學方法的重中之重。
不過這幾年大家慢慢把這講清楚了，特別是計量學家的All-star team寫的這篇文章"Sampling‐based versus design‐based uncertainty in regression analysis"，發表在Econometrica上，作者包括了Alberto Abadie、諾獎得主Guido Imbens 、Susan Athey跟Jeffrey Wooldridge，這篇文章在這幾年的哈佛計量讀書會都一再提到。
這篇文章的計量複雜，但我們不妨從比較哲學的觀點來看。我們怎麼認識不確定性？
不確定性本來就不只一種哲學，傳統上的抽樣的隨機性是一個來源。但如果我們在做因果推論時，還有進一步去思考平行世界下的counterfactual，而平行世界這東西你永遠都是看不到的，就算假設counterfactual本身是固定的（白話文：平行宇宙的創造本身沒有不確定性），仍存在了另一種實驗設計或政策設計造成的隨機性：誰被分配到控制組跟對照組本身是有一定的不確定性。
事實上，計量經濟學還存在另外兩種常見的不確定性，也可以貢獻於標準誤，一個是「測量誤差」，常見於Teacher Value-Added或是CEO Value-Added的研究，另一種則是「研究客體知道的資訊比研究者為多」，則常見於動差不等式(Moment Inequality）相關的研究。
因此，就算你有母體資料，你想要理解因果推論，無論這政策本身是一個人為實驗還是自然實驗，如果你相信你的政策在「誰會被選為控制組/對照組」這回事有一定的隨機性的話，你仍然需要計算標準誤、並以標準誤進行統計檢定，只是你要進行的是design-based inference，
當然，要怎麼做「design-based inference」，就是另外一個當紅的計量話題了，很多哲學的東西，要回頭Fisher跟Neyman當年的爭論去，但整個邏輯跟傳統的「抽樣」為基礎的理解，就相當不一樣。
首先，推論的起點就往往不是假設一個無限大的母體了，還是先假設一個有限的資料開始，回頭去談「有限資料下的大樣本」，也因而有了一個從sample-based的觀點來看會有點奇妙的「有限樣本的大樣本推論」。
這觀點的轉換很重要，因為就算你不是持有母體資料，有些東西還是比較容易從design-based inference的去想，比方說社會網絡分析。雖然很多可以操作的網絡理論都可以用Large-sample network theory去把很多網路統計量寫出來(像graph homeomorphism)，但實證上你去思考大樣本逼近的時候，如果用sample-based的觀點，就會變成要用小的子圖越變越大去逼近母圖，實證的論理會變得有點怪，因為在你原本的分析中，可能沒有存在對於你手上的子圖跟母圖的關係好的解釋（Large-sample network theory其實通常假設你手上有母圖，但母圖太複雜，所以你抽子圖來解釋母圖。跟你資料只有抽樣出的子圖來逼近母體是兩回事）
所以像一些最新做網絡研究的統計推論，就會用design-based inference去看，那對於不確定性的想法就變得簡單的：哪怕社會網絡再複雜，但我在這裡討論的不確定性不是網絡本身變大變小，而是給定一個網絡，哪些地方會被政策影響到有一定隨機性。
不過，假設我手上有母體，而且我政策分配沒有不確定性，那是不是還要統計推論呢？事實上可以證明，在一些條件底下，那種情況下寫出來的標準誤會剛好等於0，也就是你的敘述統計已經講完了你要講的，這也是某些美國Opportunity Insight的美國母體資料的情況。（不過，換言之，「我不需要做統計推論」必須要有很強的條件。）
然而，經濟研究的現況往往更為複雜，一個迴歸分析可能同時涉入了不只一種的不確定性，那又該如何推論呢？特別是，除了上述的「四種」不確定性（抽樣、設計、測量誤差、研究客體與研究者間的資訊不對稱），其實還存在第五種，就是經濟模型均衡下（比方說一般均衡）底下的「加總」所導致的不確定性。有興趣的讀者可以參考Jinyong Hahn , Guido Kuersteiner , Maurizio Mazzocco的研究"Estimation with Aggregate Shocks"。
總結來說，研究者必須要想清楚「自己的目的」，並考慮「資料的性質」，進一步構思手上的「研究設計」，與說明背後隱含的「行為模型」，這些格子都打勾了，你才能真的知道自己要怎麼進行正確的統計假說驗證，因為背後隱含的大樣本理論甚至可能相當不一樣，這也是筆者之前在哈佛博士班一年時下學期的計量資格考的一個重要考點就是了。
諸君，你已經覺得夠玄了？事實上在「資產定價模型」，還存在某些東西可能導致類似「負機率」的情況發生（not joking)，下回再分曉。
