點估計及不偏估計(Point Estimation and Unbiased Estimation)

閱讀時間約 4 分鐘
點估計(point estimation)是指用樣本資料來估計母體參數,使用一個點的數值表示其估計值,因此稱為點估計。事實上我們相當常見的樣本平均數或樣本變異數就是點估計,我們是使用樣本資料計算出一個數值,然後再用這個點的數值去估計母體的參數。
用樣本平均數或樣本變異數去估計母體平均及母體變異就是點估計,用樣本平均去估母體平均,用樣本變異去估母體變異,用樣本的某個統計量直接去估母體參數,看起來好像非常直觀且簡單吧?
但其實不是這樣的,估計方法其實種類繁多,有最小方差均值不偏估計法 (MVUE)、一致最小方差不偏估計法(UMVUE)、最佳線性不偏估計法(BLUE)、 、最大概式估計法(MLE)、動差法(Method of Moment)…,每一種方法都用不同角度去切入,而得出的估計值可能也有所差異。
除了估計方法外,一個好的點估計還要有不偏性 (Unbiasedness)、有效性 (Efficiency)、一致性 (Consistency)、充分性 (Sufficiency)。總之估計一個母體平均或是其他母體參數其實沒有看上去的那麼容易,它除了要有一些好的數學特性之外還要用合理的估計方式去估計…。
但在大多數領域我們都不會接觸到這些內容,其一是除了母體平均和母體變異外或許我們不常需要估計其他母體參數,而母體平均及變異已經有一組簡單又廣為人知的估計式而不需要去學習這些內容重新推導一次。再來就是統計是一個相當古老的學科,點估計這些領域已經發展得相當成熟,該有的估計方法、數學特性尚稱完善,一般人在這領域也很難有所突破。
儘管如此,其重要性仍不可被抹滅。
那我們該如何衡量一個點估計的好壞呢?
除了不偏性 (Unbiasedness)、有效性 (Efficiency)、一致性 (Consistency)、充分性 (Sufficiency)這些數學特性外,有一個比較簡單易懂的方式也能用來衡量點估計的好壞。
那就是MSE
Variance代表點估計值的變異數,變異數小代表每一次估計出來的值不會差距太多。Bias代表點估計的期望值和母體參數的誤差,而MSE越小通常代表點估計越好,因其變異及誤差較小。
MSE也是一個在機器學習、回歸分析中相當常被使用的指標,Variance和Bias可以被視作模型複雜度的衡量標準。當MSE中的bias的數值為0時代表點估計的期望值和母體參數的誤差為0,這時我們就稱這一點估計為不偏估計量(Unbiased Estimator)
接續不偏估計量,事實上,之所以我們用來估計母體變異的樣本變異數是
分母為n-1而不是n的原因就是為了把它調整成不偏估計量。

Julia程式碼

using Random, Statistics
Random.seed!(0)

# 母體真實參數
trueVar, trueStd = 1/12, sqrt(1/12)

# 點估計之值
function estVar(n)
sample = rand(n)
sum((sample .- 0.5).^2)/n
end
# 計算點估計之期望值和母體真實參數之間是否有誤差
# 也就是說點估計是否為不偏
N = 10^7
for n in 5:5:30
biasVar = mean([estVar(n) for _ in 1:N]) - trueVar
biasStd = mean([sqrt(estVar(n)) for _ in 1:N]) - trueStd
println("n = ",n, " Var bias: ", round(biasVar, digits=5),
"\t Std bias: ", round(biasStd, digits=5))
end

Output

n = 5 Var bias: 1.0e-5
Std bias: -0.00642
n = 10 Var bias: 1.0e-5
Std bias: -0.00303
n = 15 Var bias: 0.0
Std bias: -0.00199
n = 20 Var bias: -1.0e-5
Std bias: -0.00148
n = 25 Var bias: -1.0e-5
Std bias: -0.00117
n = 30 Var bias: 0.0
Std bias: -0.00098
可以很清楚的察覺,隨著觀察值數量的增加,點估計的誤差也越來越小,這意味著點估計估計得越來越準。
為什麼會看到廣告
avatar-img
4會員
25內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
詹永裕的沙龍 的其他內容
一篇文章帶你搞懂何謂蒙地卡羅法。
這是一個資源有限的世界,我們所能得到的東西,能夠使用的金錢、時間,都是有限的,那我們能如何在這些有限的資源中做選擇呢?
每一個國家/經濟體的經濟制度都有所不同,但可以被約略劃分成市場經濟體系、混合經濟體系和計劃經濟體系。這一篇我們就來介紹兩個最常被拿來做比較,也分別分散在光譜的最兩端的兩個制度
個體經濟學和總體經濟學相互用不同的角度來觀察經濟行為。個體經濟學專注在經濟層面中個體的行為。而總體經濟學在研究經濟時則是把經濟視作一個整體切入,使用國民收入、經濟整體的投資和消費等總體性的統計概念來分析經濟運行規律。
經濟學是一門研究人類在資源及預算有限的情況下如何作出選擇的科學,也就是說研究人類在面對稀缺性時會如何做出選擇的科學。這些選擇包含了日常生活購物、大學科系的抉擇…
我們都知道普遍來講身高越高的人體重越重,身高與體重彼此相關,且是呈現正相關。既然彼此相關,有沒有一個測量標準能夠告訴我們它們有多相關?那就是共變異數和相關係數啦!
一篇文章帶你搞懂何謂蒙地卡羅法。
這是一個資源有限的世界,我們所能得到的東西,能夠使用的金錢、時間,都是有限的,那我們能如何在這些有限的資源中做選擇呢?
每一個國家/經濟體的經濟制度都有所不同,但可以被約略劃分成市場經濟體系、混合經濟體系和計劃經濟體系。這一篇我們就來介紹兩個最常被拿來做比較,也分別分散在光譜的最兩端的兩個制度
個體經濟學和總體經濟學相互用不同的角度來觀察經濟行為。個體經濟學專注在經濟層面中個體的行為。而總體經濟學在研究經濟時則是把經濟視作一個整體切入,使用國民收入、經濟整體的投資和消費等總體性的統計概念來分析經濟運行規律。
經濟學是一門研究人類在資源及預算有限的情況下如何作出選擇的科學,也就是說研究人類在面對稀缺性時會如何做出選擇的科學。這些選擇包含了日常生活購物、大學科系的抉擇…
我們都知道普遍來講身高越高的人體重越重,身高與體重彼此相關,且是呈現正相關。既然彼此相關,有沒有一個測量標準能夠告訴我們它們有多相關?那就是共變異數和相關係數啦!
你可能也想看
Google News 追蹤
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
MSE vs. MAE 差異比較 MSE(均方誤差): 1️⃣ 對大誤差更敏感(平方放大效果)。 2️⃣ 更適合需要懲罰大誤差的應用,如醫療預測。 3️⃣ 單位是數據單位的平方,解釋性稍差。 MAE(平均絕對誤差): 1️⃣ 對大誤差不敏感,對異常值更穩健。 2️⃣ 單位與原始數據相同
本篇文章介紹了一種簡單但正確的評估方法,以投資評估總分和本益比為依據,給出了公司的投資評級,並以臺積電和NVDA作為範例。文章還提到了演算法的重要性,以及執行長數學的思路。建議投資者試用這種投資策略來輔助自己的投資。
Thumbnail
這篇文章分享了作者在參與預估專案時的思考脈絡和學習點,透過兩個具體的案例,探討了預估方法中重要的假設和挑戰。
Thumbnail
技術指標源自統計學原理,反映市場變化的概率分佈,而非預測工具。本文了解指標背後邏輯有利活學活用,甚至自行改良創新。
Thumbnail
有學過統計的人都知道,所謂的平均有許多不同的定義,我們今天要來學習在金融財務當中常見的平均方法。 這些平均方式可能是用在績效的結果,也可能是用在分析財務報表。 這些統計有時候差之毫釐、失之千里,我們在理解不同的統計分析跟看其結果時,不可不慎。 本篇文章簡單介紹5種平均數
這篇文章介紹瞭如何使用sigmoid函數來解決函數過於簡單導致的模型偏差問題,並透過尋找函數和參數來逼近precise linear curve。另外,也講述瞭如何尋找讓損失函數最小的參數以及使用batch和反覆進行Sigmoid的方法。
Thumbnail
  前面說明了所謂「假設檢定」的邏輯,也就是推論統計的基礎。但前面都還只是概念的階段,目前沒有真正進行任何的操作──還沒有提到推論統計的技術。   這篇其實有點像是一個過渡,是將前面的概念銜接到下一篇t分數之間的過程,也可以說是稍微解釋一下t檢定怎麼發展出來的。
Thumbnail
大家好,我是小畢,在投資的路上,投資人都希望在股價低時買進,在股價高時賣出獲得報酬,正因為如此,就必須準確地預測何時是低點,以及何時是高點。 有些投資人會採用技術分析,利用各種技術指標來判斷低點和高點,例如移動平均線指標,當股價高於移動平均線時買進,股價低於移動平均線時賣出,而有的投資人則是採
Thumbnail
選舉民調是預測選舉結果的重要工具。然而,如果我們不了解樣本和母體的概念,就很容易被民調結果誤導。 在本文中,我們將介紹樣本和母體的概念,以及它們對民調結果的影響。我們還將提供一些在閱讀民調報告時的注意事項。
Thumbnail
接續上一篇,繼續來講如何從常態分布的機率進行假設檢定,進而推論母體的平均數吧! 這篇會提到否證的邏輯、魔法數字0.5以及統計檢定到底是什麼這三個主題。
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
MSE vs. MAE 差異比較 MSE(均方誤差): 1️⃣ 對大誤差更敏感(平方放大效果)。 2️⃣ 更適合需要懲罰大誤差的應用,如醫療預測。 3️⃣ 單位是數據單位的平方,解釋性稍差。 MAE(平均絕對誤差): 1️⃣ 對大誤差不敏感,對異常值更穩健。 2️⃣ 單位與原始數據相同
本篇文章介紹了一種簡單但正確的評估方法,以投資評估總分和本益比為依據,給出了公司的投資評級,並以臺積電和NVDA作為範例。文章還提到了演算法的重要性,以及執行長數學的思路。建議投資者試用這種投資策略來輔助自己的投資。
Thumbnail
這篇文章分享了作者在參與預估專案時的思考脈絡和學習點,透過兩個具體的案例,探討了預估方法中重要的假設和挑戰。
Thumbnail
技術指標源自統計學原理,反映市場變化的概率分佈,而非預測工具。本文了解指標背後邏輯有利活學活用,甚至自行改良創新。
Thumbnail
有學過統計的人都知道,所謂的平均有許多不同的定義,我們今天要來學習在金融財務當中常見的平均方法。 這些平均方式可能是用在績效的結果,也可能是用在分析財務報表。 這些統計有時候差之毫釐、失之千里,我們在理解不同的統計分析跟看其結果時,不可不慎。 本篇文章簡單介紹5種平均數
這篇文章介紹瞭如何使用sigmoid函數來解決函數過於簡單導致的模型偏差問題,並透過尋找函數和參數來逼近precise linear curve。另外,也講述瞭如何尋找讓損失函數最小的參數以及使用batch和反覆進行Sigmoid的方法。
Thumbnail
  前面說明了所謂「假設檢定」的邏輯,也就是推論統計的基礎。但前面都還只是概念的階段,目前沒有真正進行任何的操作──還沒有提到推論統計的技術。   這篇其實有點像是一個過渡,是將前面的概念銜接到下一篇t分數之間的過程,也可以說是稍微解釋一下t檢定怎麼發展出來的。
Thumbnail
大家好,我是小畢,在投資的路上,投資人都希望在股價低時買進,在股價高時賣出獲得報酬,正因為如此,就必須準確地預測何時是低點,以及何時是高點。 有些投資人會採用技術分析,利用各種技術指標來判斷低點和高點,例如移動平均線指標,當股價高於移動平均線時買進,股價低於移動平均線時賣出,而有的投資人則是採
Thumbnail
選舉民調是預測選舉結果的重要工具。然而,如果我們不了解樣本和母體的概念,就很容易被民調結果誤導。 在本文中,我們將介紹樣本和母體的概念,以及它們對民調結果的影響。我們還將提供一些在閱讀民調報告時的注意事項。
Thumbnail
接續上一篇,繼續來講如何從常態分布的機率進行假設檢定,進而推論母體的平均數吧! 這篇會提到否證的邏輯、魔法數字0.5以及統計檢定到底是什麼這三個主題。