該死的統計數據?

2021/12/17閱讀時間約 10 分鐘
好久不見了,大家。時間被研究工作排滿,加上我堅持11點睡覺,所以犧牲掉的就是我的部落格寫作。這是我參與讀書會所負責導讀的章節,《反智》的第四部。

第12章─生死機遇

問題:你們對於數據統計資料的想法如何?
你完全能夠信任嗎?為什麼?能不能說一個例子?
「統計數據和機率,在我們生活中無所不在,也意味著它們往往有關生死大事,不論是在醫療、司法、或是政府的行為。」

三門問題

接著是著名的「三門」問題做介紹,其實這就是機率問題,我還記得我在國中的時候,老師就問過我們這個問題,並且用數理計算的方式告訴我們當主持人問我們要不要換的時候,我們選擇換而贏(2/3)的機會高於不換(1/3)。不過就個人經驗而言,我的通常換結果會比較糟糕,所以我都選擇不換。機率跟實際遇到的狀態不可能完全相符。假設抽獎中獎的機率是1/3,是可能抽個30次當中有接近10次中獎(常態分配的概念?
問題?
「不誠實的類型有三種:謊言,
該死的謊言,以及統計數據。」

染上HIV的機率

再來是驗出陽性就是陽性的問題,書中問的是「假想你接受了HIV(人類免疫不全症病毒)檢驗,而且你被告知該檢驗準確度為99.99%。你的檢驗結果是陽性,那麼你染上HIV的機率是多少?」就你個人而言,不是生就是死,是50%的機率。書裡面用了貝氏定理和頻數樹的方式來讓我們理解發生機率的由來,有興趣的朋友請自己找書來看。

無罪機率低就是有罪嗎?

書中再講了檢察官謬誤,因為被告的無罪機率為七千三百萬分之一這麼低,所以應該判定她是有罪的。還有很多犯罪影集超愛演的DNA的驗證,我們都覺得非常可信,但是書上說任何人的DNA與之吻合的機率大約只有百萬分之一;所以雖然DNA證據顛覆了傳統法律流程,然而粗心大意的詮釋很有可能會錯誤暗示有罪,所以我們需要小心避開這類機率陷阱。這部分我想帶出一個問題,大家都覺得大數據的分析很可拍,但是不要忘記,餵給電腦數據的是人,舉個例子給大家聽,現在其實用電腦過濾求職履歷是愈來愈受歡迎的事,但是幾年前在美國發現他們篩選履歷的AI居然有種族歧視或性別歧視。這是因為過去的資料有大部分同一個職位的人是白種人男性,而電腦把這個資料特性萃取出來作為篩選條件之一了。

第13章─篩檢訊號

辛普森悖論

用學校男女錄取比率的例子說明辛普森悖論:違反直覺的現象,某個趨勢在各個資料群裡面很明顯,但是當這些資料群合併起來時,該趨勢卻可能消失或逆轉。女生申請競爭力比較激烈的科系,男生申請相對不那麼競爭的科系,影響了最後整體錄取的百分比呈現。
另一個辛普森悖論案例是關於1970年代初期英國威克漢姆小鎮的婦女死亡率統計,當把吸菸者的死亡率和非吸菸者的死亡率進行比較的時候,會發現吸菸者的死亡率比較低。但如果把他們按照年齡層來比較的話,就會發現吸菸者的死亡率比較高。書對這個例子的結論是,可以用數據操縱人心並扭曲真相。
問題:你們覺得為什麼非吸菸者的整體死亡率會比吸菸者的低呢?
關鍵在於潛在變數的探討以及影響程度。其實這也是大數據分析的一個難題,數量多,就一定是比較重要的嗎?權重為何?如何定義?這是值得討論的地方。
No Smoking!

相關≠因果

接著是講相關不代表因果,我在上一本書也有舉過一模一樣的例子,所以我就講一個我覺得書裡面提到很有趣的例子。搞笑宗教「飛天意麵神教」創辦人亨德森(Bobby Henderson)曾頒布指令,虔誠的信徒需要穿著全套海盜裝扮,因為他指出「全球海盜數量」與「地球平均氣溫」在統計學上具有顯著的負相關,由此推論出海盜能預防全球暖化。

惡血:矽谷騙局

矽谷騙局,被稱為下一個賈伯斯的一位女孩,她很有名,因為小時候怕針頭,所以立志要以區區幾滴血完成多項檢驗。這個事件後來也被寫成書叫做《惡血》,今年9月初展開審判。如果你們有興趣的話,可以去YouTube找相關的資料看,我印象很深刻是,她會學賈伯斯穿黑色毛衣,她為了顯示自己的專業感,在接受訪談的時候還刻意壓低自己的聲音。我分享一個書上面沒有提到的事情,就是當時要揭穿她的人是一位投資者底下的報社,當時好像有人去和這位投資者交涉,希望他可以把這個報導壓下來,但是他好像是說如果對的就應該經得起檢驗,所以他並沒有做這件事情。我想說的是,這位投資者很好的地方在於,即便自己投了很多錢,並沒有害怕受到影響就去干涉報社記者調查報導的自由。

敏感性&特異性

這章介紹了兩個概念,一個是sensitivity(敏感性),另一個是specificity(特異性)。高敏感性檢驗,偽陰率低;高特異性,偽陽率低。在理想的狀況下,我們期待兩個可以達到100%,但是實際上,可以做到90%就很厲害了。
我想要分享的是我們量化研究上的名詞,我們分成Type I Error(型一錯誤)和Type II Error(型二錯誤),前者是對的假設被錯誤拒絕(偽陰,有病被測出沒病),後者是錯的假設被錯誤接受(偽陽,無病被測出有病)。我們常常講顯著性(p值),其實就是在討論統計上出錯的機率為何。大部分社會心理科學,如果p值小於0.05就算我們的研究假設有獲得支持;換句話說,就是當我們的研究假設出錯率是低於5%的時候,我們會宣稱我們的研究結果是成立的。
我在書裡面看到一個比較重要的訊息,對男性相當重要,如果你們用自己的尿液做懷孕檢驗時得到陽性反應時(可能會傻眼),要去檢查睪丸癌。

第14章─分母是什麼

2015年有一項數據顯示培根和熱狗(加工肉品)會致癌,而且幾乎與吸菸一樣糟 !國際癌症研究機構(IARC)有把罹癌風險的食物分等級。第1組致癌是指「具有很強的風險證據」的事物,包括吸菸、晒太陽、以及飲酒。第2A組和2B組分別為「大概」及「可能」致癌。我還記得我去聽了一個癌症的講座也有把我最喜歡喝的咖啡列在裡面。我當時也是滿震驚的,所以我在那之後每天都喝咖啡壓壓驚(不是)。
看到%要先問:分母是什麼?
作者就再次提醒,我們要回頭檢視資料的來源與統計方式,也就是標題所問的「分母是什麼」。少食用加工食品的人是千分之56,而大量食用的是千分之66,公報上面的數字是用66減掉56再除以56的百分比,這樣就會變成18%,嚇死人。但是應該是把差距除以所有人會比較恰當,也就是大約是千分之10,換算成百分比就是1%。
「用什麼樣的方式來報告機率,對於我們如何理解它,
以及我們在情感上如何處理該信息。」

其他聯想

考研究所的人愈來愈少,所以大家重視實務經驗?
我曾讀過一篇2019年的雜誌文章,上面用人數來顯示就讀研究所的人愈來愈少,想以此說明工作的實戰經驗重要。我認為直接呈現人數是有問題的,因為每一年出生的人數是減少的,是不是用比例來呈現會好一點,比方說今年大學畢業的人數是多少,選擇繼續攻讀研究所的人數佔了當年大學畢業的百分比。另外,我很多同學沒有應屆去讀,但是工作幾年之後,還是有回學校讀書,不曉得這個有沒有算進去?

疫苗死亡機率

新聞或統計上說打疫苗死亡的機率是好幾萬分之一,但是就你個人而言,和上述的HIV檢驗結果一樣,不是生就是死,所以答案是50%。那所謂的萬分之一,不是到第10000個才會發生,也有可能第1個死,後面9999人都活下來,但也有可能前10000個都沒事,但是第二批10000人死了2個,這是計算上的結果。

利用數據影響政治

這讓我想到英國脫歐的事情,就是有一位叫做Dominic Cummings在背後操弄,這個Ch@os有說過,有興趣的認可以去看電影,叫做Brexit: The Uncivil War,是Benedict Cumberbatch演的(K貓電影解說)。
我印象最深刻的地方是,他把一個非常重要的數字訊息印在公車上,就是英國人每週給歐盟35億英鎊(而且不是事實),為什麼我們不把錢用在健康保險制度,找回控制權?除了戳中在社經地位較低的人的痛處,也讓那些中間選民,或者我一直強調的那些資訊還不足以作出判斷的人,被這樣主動曝光在自己面前的資訊影響了。尤其是將「找回控制權(Take back control)」作為標語,將近年來景氣變差的狀態怪罪到移民、政府、歐盟上,找回控制權,就是找回過去日不落帝國的光輝。
類似的數據操弄方式還有用在新藥的臨床試驗以及房價上,當我們看到很聳動的百分比時,記得進一步追問,分母是什麼?

量化研究和質化研究同樣重要

統計顯著性是瞭解想像的工具之一,不只是絕對,而且如何建立假設也是一個問題。我大學在修這門課的時候,就覺得非常沒有道理,因為簡單來說,我們要建立一個假設A,然後設定一個和A對立的假設,接著進行統計檢驗其顯著性,這時修哲學的我就會想知道,為什麼要假設A,A本身描述有問題怎麼辦?那些問卷的格子又是代表什麼意思?我今天的心情10分有8分和10分有7分差距多少?是等距的嗎?這樣的心理程度是可以量化的嗎?統計上顯示出錯率相當低,所以我們就只討論大多數的情況嗎?那個出錯的5%怎麼了呢?再者,統計上的顯著性會受到樣本數量的影響,所以我的碩士論文在發問卷的時候非常痛苦,我的教授叫我一定要收200份才行。
這我就不得不說質化研究的重要性,有可能是針對研究本身進行研究和反思,或者對於那些出錯率5%的人,或者我們稱「界外值」(Outlier)的人,進行訪談,深度了解他們的思考方式,嘗試找到影響他們如何看待事情的因素,以及他們如何從自己的想法做出決定的歷程等等。只是為了升等還有發表的壓力,做量化研究是相對快速的,加上如果要發表在影響力高的期刊,就都要用英文撰寫,而質化研究是需要非常強的敘事性,以及花比收集量化資料更久時間,所以臺灣許多研究者還是會比較偏好量化研究,甚至認為科學方法才是方法。敘事性強的哲學立場本身就和使用科學方法的立場不同。

結論

對於第四部的總結是,我們雖然依賴數據統計的分析,但是我們要不忘回頭檢視自己在收集的過程中有沒有什麼偏差,收集完成後的計算方式,以及如何詮釋統計結果;統計數據可以幫助我們快速知道大多數人的情況,但是我們仍需要有較深刻敘事性的內容幫助我們看見事件發生的脈絡還有影響的層次等等。該死的也許不是統計數據,是人心。
2會員
9內容數
《深度工作力》,原文是 "Deep Work",Cal Newport著,譯者吳國卿。這本書在網路上已經有許多部落客或者YouTuber在自己的平台上面介紹過。而我在2020年5月到7月期間,在網路上開了讀書會,有製作一些資料,想要以自己的方式再整理一遍。
留言0
查看全部
發表第一個留言支持創作者!