統計急救箱─常態分布與假設檢定(下)

閱讀時間約 8 分鐘

  沒想到從過年前就被各種專案進度追殺到現在,竟然停更兩個月了....

  接續上一篇,繼續來講如何從常態分布的機率進行假設檢定,進而推論母體的平均數吧!


反過來的推論方式──否證

  為什麼在前一篇當中要花這麼多力氣去了解「假設母體平均數為u時」不同數值區間的出現機率是多少呢?這跟我們從觀察樣本推論母體有什麼關係?

  答案是我們要根據機率來猜測母體是不是真的如我們所推測的那樣。這樣講起來很抽象,從一個具體的生活例子來看會比較容易理解。

  

  在許多的遊戲當中都會用骰子當作一種隨機的道具,是因為我們理論上一個公正的骰子擲出各個面的機率都是一樣的。假如我們手邊有一個常見的6面骰,有兩個人靠手上的骰子玩遊戲。在這一局遊戲當中,某甲總共擲了25次骰子,總共得到3次的六點;某乙擲出31次骰子,總共得到22次的六點。

  這時候你得到一個資訊顯示某甲與某乙其中一個人作弊,你認為會是誰呢?


  在這個例子裏面,一般人都會不假思索地認為某乙比較有作弊的嫌疑。為什麼呢?

  答案滿明顯的,因為某甲得到六點的機率是12%,而某乙得到六點的機率則大約是71%。一般來說,我們都會認為一顆公正的六面骰,得到六點的機率大約為16.7%(也就是六分之一)。這麼一比較起來,某乙得到六點的機率簡直高得離譜。

  如果講得更清楚一些,這整段話應該要這樣描述:「理論上,如果丟骰子得到六點的機率是16.7%,那麼在這一局遊戲中,有71%都得到六點的狀況是非常不容易出現的事情。」

  現在我們把這段話換成統計上的說法,它會變成這樣:

「理論上,若母體平均數為u,在單次抽樣當中得到樣本平均為x的機率極小,此時會認為母體平均數可能不是u。」

  我們需要釐清一下在在丟骰子的例子當中,不同的名詞應該怎麼跟上面這句話做對照。

  母體平均u,指的是「某乙的骰子出現六點的機率」。由於我們不知道他的骰子真正的機率為何,所以我們預設上會先假設是公正的骰子,也就是16.7%。而單次抽樣的樣本平均x,指的就是這一局遊戲裡面丟骰子得到六點的機率。在上述例子中的某乙身上,就是71%。

  然後因為某乙這次丟骰子出現的結果(71%),和理論上的16.7%相差實在太多,因此會認為母體平均(也就是某乙的骰子出現六點的機率)實際上可能並不是16.7%,也就是說這顆骰子並不是公正的骰子。

  要注意的是,我們從來不會說某乙得到71%的六點是「不可能」的!因為即使機率非常非常非常小,一顆公正的骰子丟31次,得到71%六點的機率都不會是0對吧?所以單就機率上來說,我們不能夠因為發生機率很小,就說這件事情不可能出現,我們只能夠說「比起這個機率很小的狀況,我們認為這骰子不公正的可能性是比較大的。」

  

  上面的過程,其實就是「統計檢定」這個概念的基本邏輯。即使我們沒辦法直接確定母體的平均數,但我們可以知道當母體平均數如同我們假設時,得到現在觀察結果的機率非常小。然而即使如此,我們還是得到這個觀察結果了,那就可以說有兩個可能:1. 我運氣太好或者太差,得到一個很難看到的結果。2. 母體平均數其實不是我假設的那樣,從真正的母體平均數中我得到現在觀察結果的機率應該更大一些。

  這個邏輯在科學上被稱為否證邏輯,也有人稱其為證偽法。它的特點是,我們不是去證明「母體的平均數為u」,例如我們在上面的例子裡不是去證明「某乙的骰子丟出六點的機率為71%」;而是去否定母體的平均數為u這件事,所以會說「某乙的骰子丟出六點的機率不太可能是16.7%」。這是因為我們永遠不可能知道母體的平均數(也就是某乙的骰子丟出六點的機率到底是多少。套句我的統計老師的話:「這只有上帝會知道。」),所以我們反過來用不斷否定它的其他可能性來「逼近」它的真實值。


那個魔法數字:5%

  在上面的描述裡面,我們都只會說「這個機率很小」這種模糊不清的話。但在科學研究上面我們不能夠允許這樣說。因為「機率很小」其實是一種主觀判定,例如有些人覺得發生某件事的機會是20%就很小了,但有些人認為5%才是小的。這樣一來,到底怎麼樣的機率,我們才能說「母體平均可能不是假設的那樣」呢?

  所以科學界對於怎樣的機率是小的,會有一套大致上公認的標準。這個魔法數字就是0.05,也就是5%。

  一般的社會科學研究,都會認為「當假設母體為u時,我們得到現在觀察結果的機率不足5%,那麼就可以合理的認為母體平均數並不是u。

  我們再次用這面這張圖當作例子。

如果觀察結果落在黃線區域,就表示機率太小了

如果觀察結果落在黃線區域,就表示機率太小了

  在一個常態分布的圖形上,圖中紅線標示出的範圍表示「當母體平均數為u時,有95%的機會得到這個範圍內的數據。」那反過來說,黃色部分就是「當母體平均數為u時,僅有5%的機會得到這範圍內的數據。」

  上面提到的5%標準,指的就是黃色的線段了。

  現在來看圖上面標記出的藍色「觀察結果1」,在橫軸上的位置還被包含在紅色的95%區間內(所以黃色線段上面寫它的位置在95%內)。因此,假設母體平均數為u,而我們得到了這次的觀察結果,我們會說這個結果發生的機會並不是很小,沒有充分的理由懷疑母體平均數不是u。

    有一個需要特別提的點是,這個5%標準是人為訂定的,也可以當成是一種社會科學研究者之間的不成文默契 [*1]。事實上,在一些特別的情況下,也會有人把這個「怎樣算是機率很小」的標準訂得更為寬鬆或者嚴格。在不同的學門當中,也可能採用不一樣的標準。所以雖然5%好像是個魔法數字一樣,但其實不是那麼舉世皆然的標準喔!



所謂的「假設檢定」

  上面這一串描述實在是太囉嗦了,其實這些步驟都可以有一些特別的統計名詞來指稱。現在我們來複習一下剛剛發生了什麼事,順便一一定義這些名詞,這樣以後看統計課本就會知道這些名詞在講什麼鬼東西了。

  首先,由於我們不知道母體平均數是多少,所以我們要先假設母體平均數是u (自己決定的某個定值),這個動作被稱為「訂定虛無假設」,統計學符號為H0。而與虛無假設互斥的另一種狀況,就被稱為「對立假設」[*2],統計學符號為H1。

  以上面的丟骰子例子來說,我們一開始預設了某乙的骰子是公正的,因此虛無假設與對立假設分別是:

虛無假設 (H0):某乙的骰子丟出六點的機率為16.7%。
對立假設 (H1):某乙的骰子丟出六點的機率不為16.7%。

  其次,我們根據這16.7%的平均值來畫出一個常態的抽樣分布圖(如同上一篇文章所述,我們還需要標準差才能畫出來,但我們這裡先忽略這件事,之後會提到怎麼處理),然後看看某乙得到的71%在橫軸上的位置。

  當71%位於這個常態分布圖的95%區間之外(也就是上圖的紅色區間之外、黃色區間之內),就表示這件事情發生的機率太小。此時有一個統計術語來描述這件事,叫做「觀察值與母體平均理論值之間有顯著差異」,簡稱為「​差異達顯著」。

  當差異達到顯著時,我們傾向於認為虛無假設不正確,這件事情被稱為「拒絕 (reject) 虛無假設」。

  那如果71%的觀察值結果實際上落在95%的紅色線段之內,我們就會說此結果不顯著,不拒絕虛無假設。


  上面這整個過程,就被稱為「統計上的假設檢定」,也就是用來檢驗虛無假設到底該不該被拒絕的過程

  下面這張圖用圖解的方式描述了統計檢定的過程。

統計檢定的基本邏輯,畫成圖就是這樣

統計檢定的基本邏輯,畫成圖就是這樣


到此為止,就是統計檢定的基本概念,同時也就是所謂推論統計的基礎囉!

接下來的許多推論統計都是奠基在這個觀念之上發展出來的,通常都是為了解決特定的問題而被發明出來的技術。例如前面也有提到,當我們不知道母體標準差的時候,要怎麼畫出抽樣分布呢?這就是下一個主題了。



  忙碌的日子感覺會持續下去,希望在忙碌之餘還是可以繼續這系列的文章啊~



註解

[*1]: 所以社會科學家到底為什麼這麼喜歡5%這個數字?有一種說法是其實只是方便 。這是因為以前在做假設檢定的時候,電腦還不發達,當時的科學家都用手在計算的。而有一個對當代統計學有重大貢獻的學者叫做Fisher,他做了一張表讓大家對照不同的發生機率對應到X軸上的什麼值,其中有一個點是95%的發生機率。基於方便大家就這麼用下來了。對這部分描述有興趣的讀者,可以參閱Fields (2017) 的Discovering statistics using IBM SPSS statistics (5th ed.) 一書中的3.2.3段落。


[*2]: 很多人會不知道虛無假設和對立假設怎麼區分。一個很簡單的分辨方法是,虛無假設是可以透過統計來推翻的假設,但對立假設沒辦法。仔細想想本文的例子,我可以推翻「骰子得到六點的機率是16.7%」,但卻沒辦法推翻或者證明「骰子得到六點的機率不是16.7%」對吧?



致謝

本文所用圖片當中的素材來自於https://www.flaticon.com,由juicy_fish創作。

49會員
30內容數
大學念文組,碩士班的報告突然要用統計了怎麼辦?沒學過統計怎麼寫量化學位論文?跟著統計書操作都沒問題,但報表都不知道在講什麼,也不知道做的分析到底對不對?作者在應用統計的路上跌跌撞撞也差不多十年了,希望有些心得可以幫助到有這些困擾的你。
留言0
查看全部
發表第一個留言支持創作者!
統計急救箱的沙龍 的其他內容
  在上一篇文章解釋了常態分布怎麼幫助我們計算事件發生的機率,而更之前也看過了抽樣分布是如何形成常態分布的過程,現在就要利用這兩件事情來慢慢帶出什麼是統計學中的「假設檢定」了。
依照中央極限定理,我們可以得知(獨立且隨機樣本的)抽樣分布最終會形成常態分佈,那麼這件事情到底為什麼很重要呢? 這篇文章就來介紹一些常態分布的基本特性,以及最重要的──常態分布怎麼幫助我們計算機率。
在上一篇文章中區分了什麼是母體分布、樣本分布以及抽樣分布,另外也示範了抽樣分布的形成過程。在這一篇當中就要介紹抽樣分布與常態分佈之間到底是什麼樣的關係了。
  這幾天因為選舉民調的關係,統計學一下子受到了大眾的矚目。應該很多人都經由這個機會回想起了一些曾經學過的統計學名詞,例如抽樣、區間、抽樣誤差等等。   其實這些通通都是推論統計的觀念,網路上有相當多的統計專家已經撰文解釋到底這個民調風波在吵什麼,應該不需要我野人獻曝了。   不過如果真的想要了
  推論統計應該是讓很多人苦惱過的主題,這篇文的目標就是回答「到底推論統計是什麼?」這個問題。
  在上一篇文章解釋了常態分布怎麼幫助我們計算事件發生的機率,而更之前也看過了抽樣分布是如何形成常態分布的過程,現在就要利用這兩件事情來慢慢帶出什麼是統計學中的「假設檢定」了。
依照中央極限定理,我們可以得知(獨立且隨機樣本的)抽樣分布最終會形成常態分佈,那麼這件事情到底為什麼很重要呢? 這篇文章就來介紹一些常態分布的基本特性,以及最重要的──常態分布怎麼幫助我們計算機率。
在上一篇文章中區分了什麼是母體分布、樣本分布以及抽樣分布,另外也示範了抽樣分布的形成過程。在這一篇當中就要介紹抽樣分布與常態分佈之間到底是什麼樣的關係了。
  這幾天因為選舉民調的關係,統計學一下子受到了大眾的矚目。應該很多人都經由這個機會回想起了一些曾經學過的統計學名詞,例如抽樣、區間、抽樣誤差等等。   其實這些通通都是推論統計的觀念,網路上有相當多的統計專家已經撰文解釋到底這個民調風波在吵什麼,應該不需要我野人獻曝了。   不過如果真的想要了
  推論統計應該是讓很多人苦惱過的主題,這篇文的目標就是回答「到底推論統計是什麼?」這個問題。
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
統計檢定異常值的方法頗多,本文介紹的是小樣本極端值的Dixon檢定,本方法使用的限制為(a). 樣本數至少三個、(b). 樣本採自常態分配,檢定方法程序如下 : 將n個樣本由大而小依序排列,排列後為X(1)、X(2)、...、X(n),檢定統計量為
Thumbnail
檢查樣本數據是否符合常態分配,價格數據若是符合常態分配,則視為正常行情,反之則視為有突破訊號。常態分配檢定有數種方法,本文介紹的是w/s檢定,檢定統計量僅需計算樣本全距(w),還有標準差(s),然後求其比值,接者透過查表比較其上、下臨界值,查表值請參考下圖
Thumbnail
借用優勢比這個概念,觀察價格數據資料的多空變化,資料數據請參考下表一
Thumbnail
Kolmogorov-Smirnov 適合度檢定,該方法為檢定樣本次數分配與某一特定母群體分配間的差異是否達到顯著性(一般用來檢定常態分配或是其他類型的連續性分配)。檢定統計量邏輯、計算流程、查表值請參考下列敘述
Thumbnail
Durbin-Watson test,對模組的殘差項進行相關聯性檢定,常應用於迴歸分析以及需要限制殘差項要為獨立常態分配。不過我在應用上更關心價格資料是否有聚集在均線附近,若有則可以判定盤整盤,反之則有趨勢發生,相關統計檢定計算步驟詳列如下
Thumbnail
承續前篇內容,另外使用第二種隨機性檢定方式,來判斷價格是否處於盤整盤,假若為盤整盤,價格應集中在均線位置附近或是前後相鄰的數值差異很小,數據計算方法如下
Thumbnail
承續前篇,透過觀察統計檢定量的公式,隨機性的檢定是透過前、後期的資料乘積與均數差異的平方,取其比值大小最為判斷,現在透過更為高階的動差概念,來討論價格資料是否屬於盤整型態,其中以動差的視角來看,均數屬於一階動差、變異數屬於二階動差、偏態屬於三階動差、峰態屬於四階動差,相關公式詳列如下
Thumbnail
價格數據可透過隨機性檢定方式,以判斷行情是否在盤整盤狀態。假若行情為盤整盤,前後價格應該偏向漲跌互見的形式;反之若為趨勢盤,則前後價格應該偏向漲、漲、漲與跌、跌、跌的連續形式。 統計方法如下 : 假設有一系列的觀察值X(1)、X(2)、...、X(n),系列相關係數與統計檢定量定義如下
Thumbnail
假設你有一串時間數列資料,資料時間長度可以是Tick、分鐘K,也可以是日K的等級,請問有甚麼方法可以評估是否為盤整盤 ?
Thumbnail
課本   統計最大的特色就在於每一個章節所學習到的知識點異常連貫,講白話就是,你從第一章學到的東西將會一路陪著你用到最後,而且中途的每一個章節還會持續不斷的將新的知識點疊加上去,因此只有其中一個章節掉了鏈子,統計學要學好是不可能的事!
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
統計檢定異常值的方法頗多,本文介紹的是小樣本極端值的Dixon檢定,本方法使用的限制為(a). 樣本數至少三個、(b). 樣本採自常態分配,檢定方法程序如下 : 將n個樣本由大而小依序排列,排列後為X(1)、X(2)、...、X(n),檢定統計量為
Thumbnail
檢查樣本數據是否符合常態分配,價格數據若是符合常態分配,則視為正常行情,反之則視為有突破訊號。常態分配檢定有數種方法,本文介紹的是w/s檢定,檢定統計量僅需計算樣本全距(w),還有標準差(s),然後求其比值,接者透過查表比較其上、下臨界值,查表值請參考下圖
Thumbnail
借用優勢比這個概念,觀察價格數據資料的多空變化,資料數據請參考下表一
Thumbnail
Kolmogorov-Smirnov 適合度檢定,該方法為檢定樣本次數分配與某一特定母群體分配間的差異是否達到顯著性(一般用來檢定常態分配或是其他類型的連續性分配)。檢定統計量邏輯、計算流程、查表值請參考下列敘述
Thumbnail
Durbin-Watson test,對模組的殘差項進行相關聯性檢定,常應用於迴歸分析以及需要限制殘差項要為獨立常態分配。不過我在應用上更關心價格資料是否有聚集在均線附近,若有則可以判定盤整盤,反之則有趨勢發生,相關統計檢定計算步驟詳列如下
Thumbnail
承續前篇內容,另外使用第二種隨機性檢定方式,來判斷價格是否處於盤整盤,假若為盤整盤,價格應集中在均線位置附近或是前後相鄰的數值差異很小,數據計算方法如下
Thumbnail
承續前篇,透過觀察統計檢定量的公式,隨機性的檢定是透過前、後期的資料乘積與均數差異的平方,取其比值大小最為判斷,現在透過更為高階的動差概念,來討論價格資料是否屬於盤整型態,其中以動差的視角來看,均數屬於一階動差、變異數屬於二階動差、偏態屬於三階動差、峰態屬於四階動差,相關公式詳列如下
Thumbnail
價格數據可透過隨機性檢定方式,以判斷行情是否在盤整盤狀態。假若行情為盤整盤,前後價格應該偏向漲跌互見的形式;反之若為趨勢盤,則前後價格應該偏向漲、漲、漲與跌、跌、跌的連續形式。 統計方法如下 : 假設有一系列的觀察值X(1)、X(2)、...、X(n),系列相關係數與統計檢定量定義如下
Thumbnail
假設你有一串時間數列資料,資料時間長度可以是Tick、分鐘K,也可以是日K的等級,請問有甚麼方法可以評估是否為盤整盤 ?
Thumbnail
課本   統計最大的特色就在於每一個章節所學習到的知識點異常連貫,講白話就是,你從第一章學到的東西將會一路陪著你用到最後,而且中途的每一個章節還會持續不斷的將新的知識點疊加上去,因此只有其中一個章節掉了鏈子,統計學要學好是不可能的事!