解構數據迷霧-《暗數據》

Mauro-avatar-img
發佈於書齋
更新於 發佈於 閱讀時間約 3 分鐘
raw-image

書名:暗數據:被看到、被聽到、被測量到的,往往不是「真凶」(Dark Data: Why What We Don’t Know Is Even More Important Than What We Do)

作者:David Hand

譯者:賴盈滿

出版社:大塊文化

出版日期:2021/05/27


這是一本討論數據應用的書籍,聚焦在「暗」數據,也就是遺漏的資訊或數據,而這樣的遺漏,未必是刻意為之,可能還有的是「未知的未知」,簡單來說,面對暗數據的認知應該是要知道其是不可能窮盡的,這可能是首先最先需要知道的概念,也是研究假設上必須要有預設的「偏誤」,在理解有偏誤之後,後續的研究或討論也才會有價值。

暗數據就是在討論這類所有的偏誤,或是看不到、無法觀測的數據,而作者在書中將暗數據的種類分為15種,但也必須知道這15種並非暗數據的所有形式,可能還會有未被作者分類的暗數據。

 

暗數據的例子

1.當可樂銷售上升的時候,海邊溺死的人也會增加,若是直接推論可樂賣得越好,溺死的人就會越多的簡單因果關係,就會陷入推論不合理的窘境,沒有考量到天氣,就是一種暗數據;甚至是測量工具的侷限、資訊不對稱、簡化數據、類推到數據之外皆然。

2. 美國推動了手機APP的感應器來回報道路坑洞的問題,手機可以透過行車間的震動來判斷是否有坑洞,運用現代化數據分析的方式,讓相關單位可以知道哪裡有坑洞,需要急迫地去修補,看似美意,但實際上有車又有手機的人,通常集中在收入較高的地區,因此收入較低的地區可能永遠不會被偵測到有坑洞問題,可能又加劇了社會的不平等,這類的公共政策施政上,也當然是需要注意的。

 

在閱讀的過程中,感覺更多的是在反思量化研究或問卷式研究的侷限,像是隨著選舉,各類的民調層出不窮,這些民調的暗數據就可能會建立在,受訪者的刻意隱瞞、題目設計引導、拒訪樣本等情形,也都可能會讓實際的觀測上失準。

raw-image

 

暗數據的類型

書中試圖舉了許多領域的暗數據,例如金融、科學研究等故事,也試圖在書中說明該如何「點亮」暗數據,作者將應該處理的暗數據分為「不可忽視的遺漏」、「隨機的遺漏」、「完全隨機的遺漏」。

針對完全隨機的遺漏,因為其遺漏是完全隨機,所以大可忽略不計;而隨機的遺漏相對有跡可循,因此測量到的最終結果,仍具有代表性;不可忽視的遺漏就真的是需要費思的地方,因為原本測得到的數據會測不到,這些數據並非出於隨機,也不是因為其他已測得的觀察值,這些內容可能還是要由書中解釋才會更加詳盡。

 

點亮數據與注意事項

而面對這些需要被「點亮」的數據,書中也提到很多統計學上的方法,例如插補、拔靴等,都是用來彌補暗數據的缺漏。

再舉一個例子,英國的推力小組懷疑英國人雖然熱量攝取減少,但體重持續增加的狀況,因此著手進行調查,初步歸納出的幾個原因,問題出在暗數據:

l   肥胖程度的提高,因為肥胖者較常低報卡路里攝取數量-DD-T11:反饋與玩弄

l   零食與外食增加-DD-T2:我們不知道遺漏掉的數據

l   調查回應率降低-DD-T1:我們知道漏掉的數據、DD-T4:自我選擇

l   熱量計算參考數據和實際狀況落差-DD-T10:量測誤差與不確定

 

作者在書中舉了很多有趣的例子,但同時也不是全盤否認暗數據的價值,例如特別將數據弄暗,或是利用整體統計等,也仍有其價值存在。對我來說,這本書很像是一本提供給對調查研究有興趣的讀者閱讀,其中需要有一些基本的統計基礎,才會比較好閱讀。對於研究者而言,比較像是一本「示警」的書,告訴研究者在進行研究時可能的偏誤。回歸到作者所講的第一步,對數據保持懷疑,就是能避免暗數據影響整體狀況的方法。。

留言
avatar-img
留言分享你的想法!
avatar-img
Mauro's沙龍
18會員
40內容數
尚有舊時書禿筆,偶將蘸墨點葡萄
Mauro's沙龍的其他內容
2025/04/05
《我在北京送快遞:那些失意,都很偉大》以真誠樸實的筆觸,記錄自身打零工的經歷,呈現了許多現代年輕人在生活中的迷惘與徬徨。並非社會觀察,而是自身經歷的坦白呈現,字裡行間流露著在夾縫中求生的韌性,以及作為小人物的清醒與自知。
Thumbnail
2025/04/05
《我在北京送快遞:那些失意,都很偉大》以真誠樸實的筆觸,記錄自身打零工的經歷,呈現了許多現代年輕人在生活中的迷惘與徬徨。並非社會觀察,而是自身經歷的坦白呈現,字裡行間流露著在夾縫中求生的韌性,以及作為小人物的清醒與自知。
Thumbnail
2024/11/02
《歡迎光臨休南洞書店》講述角色們如何在困境中尋找自我及成長的故事。透過對不同角色的描繪,反映了面對生活壓力時的掙扎與重生。這部作品以書店為背景,讓讀者思考幸福的真諦與人生的選擇。
Thumbnail
2024/11/02
《歡迎光臨休南洞書店》講述角色們如何在困境中尋找自我及成長的故事。透過對不同角色的描繪,反映了面對生活壓力時的掙扎與重生。這部作品以書店為背景,讓讀者思考幸福的真諦與人生的選擇。
Thumbnail
2024/07/08
這本書是本適合青少年閱讀的小說,敘述了一位男孩與兩位夥伴共同經歷一段曲折的旅程,背景融合了美軍二戰歷史、族群認同等議題。整體而言是解謎的氛圍,透過密室逃脫的遊戲去包裝整個故事,讓整個故事的「關卡」性質更為豐富。故事的精彩居多,讓人回想起遊玩密室逃脫的經驗。
Thumbnail
2024/07/08
這本書是本適合青少年閱讀的小說,敘述了一位男孩與兩位夥伴共同經歷一段曲折的旅程,背景融合了美軍二戰歷史、族群認同等議題。整體而言是解謎的氛圍,透過密室逃脫的遊戲去包裝整個故事,讓整個故事的「關卡」性質更為豐富。故事的精彩居多,讓人回想起遊玩密室逃脫的經驗。
Thumbnail
看更多
你可能也想看
Thumbnail
TOMICA第一波推出吉伊卡哇聯名小車車的時候馬上就被搶購一空,一直很扼腕當時沒有趕緊入手。前陣子閒來無事逛蝦皮,突然發現幾家商場都又開始重新上架,價格也都回到正常水準,估計是官方又再補了一批貨,想都沒想就立刻下單! 同文也跟大家分享近期蝦皮購物紀錄、好用推薦、蝦皮分潤計畫的聯盟行銷!
Thumbnail
TOMICA第一波推出吉伊卡哇聯名小車車的時候馬上就被搶購一空,一直很扼腕當時沒有趕緊入手。前陣子閒來無事逛蝦皮,突然發現幾家商場都又開始重新上架,價格也都回到正常水準,估計是官方又再補了一批貨,想都沒想就立刻下單! 同文也跟大家分享近期蝦皮購物紀錄、好用推薦、蝦皮分潤計畫的聯盟行銷!
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
在現今這個充斥著數位科技和資訊爆炸的時代,人與人之間的連結似乎變得更加脆弱和疏離。我們常常被各種訊息和雜訊所淹沒,忽略了身邊重要的人,也失去了與他們深度交流的機會。然而,真正的親密關係,卻是建立在坦誠的溝通、深度聆聽和相互理解的基礎之上。 本文將深入探討如何透過提問和深度聆聽,創造一個安全
Thumbnail
在現今這個充斥著數位科技和資訊爆炸的時代,人與人之間的連結似乎變得更加脆弱和疏離。我們常常被各種訊息和雜訊所淹沒,忽略了身邊重要的人,也失去了與他們深度交流的機會。然而,真正的親密關係,卻是建立在坦誠的溝通、深度聆聽和相互理解的基礎之上。 本文將深入探討如何透過提問和深度聆聽,創造一個安全
Thumbnail
隨著數據資產化進程的加速,數據不僅成為企業的重要資源,也逐漸影響到我們的日常生活。了解數據資產化如何改變我們的生活,以及我們如何利用這個趨勢進行套利,對每個人來說都是有價值的。
Thumbnail
隨著數據資產化進程的加速,數據不僅成為企業的重要資源,也逐漸影響到我們的日常生活。了解數據資產化如何改變我們的生活,以及我們如何利用這個趨勢進行套利,對每個人來說都是有價值的。
Thumbnail
設定討論方向到情報操作者不想要的方向,可以卡住情報操作者想引導人們相信的事、辯解的藉口。 以 #兩兆錢坑 法案來講,情報操作者的論述大概是用「時候未到所以不一定」的原理來欺瞞逃脫質疑。這時可以設定的討論方向是: 1雖然未發生,但是法規有限制比較有保障 2討論「空白授權」可能的危害 例如:
Thumbnail
設定討論方向到情報操作者不想要的方向,可以卡住情報操作者想引導人們相信的事、辯解的藉口。 以 #兩兆錢坑 法案來講,情報操作者的論述大概是用「時候未到所以不一定」的原理來欺瞞逃脫質疑。這時可以設定的討論方向是: 1雖然未發生,但是法規有限制比較有保障 2討論「空白授權」可能的危害 例如:
Thumbnail
這本書討論了數據應用中的暗數據,探討了遺漏的資訊或數據對數據分析的影響。書中列舉了很多有趣的例子,但同時也提到暗數據仍具有價值和發現真相的可能。對於對調查研究有興趣的讀者來說很有價值,需要具備一定的統計基礎。作者強調懷疑數據的重要性,以避免暗數據的影響。
Thumbnail
這本書討論了數據應用中的暗數據,探討了遺漏的資訊或數據對數據分析的影響。書中列舉了很多有趣的例子,但同時也提到暗數據仍具有價值和發現真相的可能。對於對調查研究有興趣的讀者來說很有價值,需要具備一定的統計基礎。作者強調懷疑數據的重要性,以避免暗數據的影響。
Thumbnail
有時候未必賞識,只是長官不懂 在調查局任職的最後十年,我一直在懷疑自己引以為傲的數據分析能力真的是一種能力嗎?到最後電腦犯罪變成在搞假訊息防制,搞到我都在懷疑人生,到底是在打擊假訊息,還是打擊言論自由。(我自己應該是很久就關注假訊息的議題,也寫過相關文章,所以我並不是反對打擊假訊息,而是反對實質造
Thumbnail
有時候未必賞識,只是長官不懂 在調查局任職的最後十年,我一直在懷疑自己引以為傲的數據分析能力真的是一種能力嗎?到最後電腦犯罪變成在搞假訊息防制,搞到我都在懷疑人生,到底是在打擊假訊息,還是打擊言論自由。(我自己應該是很久就關注假訊息的議題,也寫過相關文章,所以我並不是反對打擊假訊息,而是反對實質造
Thumbnail
早前閱讀的《思想控制的技術》及《平凡的邪惡》均指出一個人若缺乏獨立思考,只聽從他人是非常危險的事。 然而現代人每天面對的網絡世界,總是充斥各種帶風向、假新聞、詭辯和偷換概念的陷阱,實在防不勝防。
Thumbnail
早前閱讀的《思想控制的技術》及《平凡的邪惡》均指出一個人若缺乏獨立思考,只聽從他人是非常危險的事。 然而現代人每天面對的網絡世界,總是充斥各種帶風向、假新聞、詭辯和偷換概念的陷阱,實在防不勝防。
Thumbnail
關於這本書,我認為...... 《深度數位大掃除》是一本出乎意料的優質好書。 自從社群媒體、大數據、人工智慧等陸續問世,對於科技如何快速進展,進而滲透人類生活的相關研究已屢見不鮮。原以為這類主題大概是敘述科技對人類生理、心理的負面影響,並提供一些老生常談的方法來杜絕。 但這本書卻提供另一個
Thumbnail
關於這本書,我認為...... 《深度數位大掃除》是一本出乎意料的優質好書。 自從社群媒體、大數據、人工智慧等陸續問世,對於科技如何快速進展,進而滲透人類生活的相關研究已屢見不鮮。原以為這類主題大概是敘述科技對人類生理、心理的負面影響,並提供一些老生常談的方法來杜絕。 但這本書卻提供另一個
Thumbnail
大數據時代下,Log的多元應用至關重要。Log生成龐大,格式各異,特別金融業需合規。探討Log廣泛應用、資訊安全、IT管理和商業決策。建立Log管理系統核心深入法規,強化IT治理、權限控管。一站式Log管理平台,確保資訊安全合規。
Thumbnail
大數據時代下,Log的多元應用至關重要。Log生成龐大,格式各異,特別金融業需合規。探討Log廣泛應用、資訊安全、IT管理和商業決策。建立Log管理系統核心深入法規,強化IT治理、權限控管。一站式Log管理平台,確保資訊安全合規。
Thumbnail
推薦給所有人的一本書,假消息、假新聞可以說是現代人生活的一部分,了解假消息對我們的影響才能讓自己不落入假消息的陷阱裡。
Thumbnail
推薦給所有人的一本書,假消息、假新聞可以說是現代人生活的一部分,了解假消息對我們的影響才能讓自己不落入假消息的陷阱裡。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News