【資料科學微知識】什麼是倖存者偏差?

更新 發佈閱讀 3 分鐘

倖存者偏差(Survivorship bias)是一種認知偏差,指的是在觀察研究對象時,只關注了「倖存」或「成功」的部分,而忽略了已經「消失」或「失敗」的部分。

這種偏差通常發生在樣本不完整或有遺漏的情況下,而且容易導致對結果做出誤導性的評估或推論。

尤其AI的時代來臨,基石源自於數據,數據相當於燃料,經過一番統計運用之後才能夠聰明的理解我們的需求之後給予最貼近我們需要的答案,資料科學領域中最重視數據的佐證,但往往我們只看到表象而忽略了某些重要的關鍵因素,導致得出非正確的結論,造成偏差。

究竟誰對誰錯呢?

raw-image

二戰的故事啟發

倖存者偏差最早起源於二戰時期的美國空軍對飛機損傷的研究,當時研究人員只研究了還能飛回來的飛機,並根據這些飛機的損傷部位提出了相應的補強建議。然而,這種研究卻忽略了已經被擊落的飛機,也就是失敗的一方。因此,研究的結果並不能完全代表整個飛機群體的損傷情況,可能會導致錯誤的結論。

研究人員根據戰鬥中回來的飛機進行分析,除了螺旋槳與駕駛艙之外,其它地方都佈滿了彈孔,就些彈孔分布的地方就成為了資料科學中統計的一個數據樣本。

raw-image

而根據這些樣本,大部分軍方皆一致認為應該針對這些彈著點較多的地方進行加強,畢竟眼見為憑,事實的表象也讓我們直覺的認為應該如此決策,但此時統計學家卻獨排眾議,提出了不同的看法,認為應該要針對彈著點較少的地方進行防護。

raw-image

那為什麼這會統計專家會得出這樣的結論呢?

raw-image

從這個故事中我們觀察到,表面的證據並不能直接讓我們進行決策,假若我們單看倖存者而忽略了犧牲者時,便會導致結論偏向不正確的一方,在資料科學中也是如此,機器學習時若樣本數不足,或者未給予反面方的資料,很容易造成統計錯誤,進行推論出錯誤的決策。

結語

在其他領域,倖存者偏差也常常存在。例如,對於成功的企業家或投資者的研究,我們只看到他們的成功案例,卻忽略了那些失敗的案例。這樣容易產生錯誤的結論,認為成功是因為他們的某些特質或策略,而忽略了其他可能的因素。

為了避免倖存者偏差,研究人員應該盡可能獲取全面的數據,包括成功和失敗的案例,從而得出更客觀、全面的結論。在分析數據時,也需要謹慎思考,不僅關注成功的一面,還要考慮失敗的原因和因素,以獲得更完整的視角。

喜歡撰寫文章的你,不妨來了解一下:

Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 - 為什麼要加入?

歡迎加入一起練習寫作,賺取知識!

留言
avatar-img
留言分享你的想法!
avatar-img
阿Han的沙龍
148會員
316內容數
哈囉,我是阿Han,是一位 👩‍💻 軟體研發工程師,喜歡閱讀、學習、撰寫文章及教學,擅長以圖代文,化繁為簡,除了幫助自己釐清思路之外,也希望藉由圖解的方式幫助大家共同學習,甚至手把手帶您設計出高品質的軟體產品。
阿Han的沙龍的其他內容
2025/04/23
我們在「【🤖 cursor AI】如何在ubuntu 24.04安裝」有分享如何在Ubuntu安裝cursro這套AI編輯器, 使用起來大幅度的提昇開發效率, 但仍有些問題點需要克服, 比如說: LLM壓根不知道我們的數據庫長怎樣啊? 怎麼分析結構呢? 假設文檔又不足的狀況下更是艱辛, 如果LLM
Thumbnail
2025/04/23
我們在「【🤖 cursor AI】如何在ubuntu 24.04安裝」有分享如何在Ubuntu安裝cursro這套AI編輯器, 使用起來大幅度的提昇開發效率, 但仍有些問題點需要克服, 比如說: LLM壓根不知道我們的數據庫長怎樣啊? 怎麼分析結構呢? 假設文檔又不足的狀況下更是艱辛, 如果LLM
Thumbnail
2025/03/12
我們在「【語音合成技術 - GPT-SoVITS】讓機器說人話的語音生成服務」分享了語音合成技術, 該套GPT-SoVITS也非常的出色, 但效能有點不是非常理想, 加上需要GPU才能達到較佳的體驗, 如此一來成本就會有點高了, 因此我們找了另外一套MeloTTS, 這一套強調CPU推理非常的快!
Thumbnail
2025/03/12
我們在「【語音合成技術 - GPT-SoVITS】讓機器說人話的語音生成服務」分享了語音合成技術, 該套GPT-SoVITS也非常的出色, 但效能有點不是非常理想, 加上需要GPU才能達到較佳的體驗, 如此一來成本就會有點高了, 因此我們找了另外一套MeloTTS, 這一套強調CPU推理非常的快!
Thumbnail
2025/03/05
我們在「【語音合成技術 - GPT-SoVITS】如何架設API伺服器」分享如何架設API V3版本的TTS服務, 但發音的部份似乎只有早期的API版本才使用到g2pw這類的技術, 因此我們可能會需要將API退回舊版, 在這裡我們也整理了早期版本api與api_v2的一些差異, 期望幫助到正在面臨選
Thumbnail
2025/03/05
我們在「【語音合成技術 - GPT-SoVITS】如何架設API伺服器」分享如何架設API V3版本的TTS服務, 但發音的部份似乎只有早期的API版本才使用到g2pw這類的技術, 因此我們可能會需要將API退回舊版, 在這裡我們也整理了早期版本api與api_v2的一些差異, 期望幫助到正在面臨選
Thumbnail
看更多
你可能也想看
Thumbnail
不是每個人都適合自己操盤,懂得利用「專業」,才是績效拉開差距的開始
Thumbnail
不是每個人都適合自己操盤,懂得利用「專業」,才是績效拉開差距的開始
Thumbnail
二戰戰鬥機從戰鬥中帶著彈孔返回 盟軍試圖加強最常損壞的部件 以減少被擊落的數量 數學家亞伯拉罕·沃爾德(Abraham Wald)指出 飛機的某些區域沒有被彈孔覆蓋的原因 才可能是飛機沒有返回的致命原因 這種洞察力導致飛機上沒有彈孔的部分重新加固了裝甲 為什麼我們缺少某些數據可能比我們
Thumbnail
二戰戰鬥機從戰鬥中帶著彈孔返回 盟軍試圖加強最常損壞的部件 以減少被擊落的數量 數學家亞伯拉罕·沃爾德(Abraham Wald)指出 飛機的某些區域沒有被彈孔覆蓋的原因 才可能是飛機沒有返回的致命原因 這種洞察力導致飛機上沒有彈孔的部分重新加固了裝甲 為什麼我們缺少某些數據可能比我們
Thumbnail
倖存者偏差(Survivorship bias)是一種認知偏差,指的是在觀察研究對象時,只關注了「倖存」或「成功」的部分,而忽略了已經「消失」或「失敗」的部分。 這種偏差通常發生在樣本不完整或有遺漏的情況下,而且容易導致對結果做出誤導性的評估或推論。 尤其AI的時代來臨,基石源自於數據,數據相當於燃
Thumbnail
倖存者偏差(Survivorship bias)是一種認知偏差,指的是在觀察研究對象時,只關注了「倖存」或「成功」的部分,而忽略了已經「消失」或「失敗」的部分。 這種偏差通常發生在樣本不完整或有遺漏的情況下,而且容易導致對結果做出誤導性的評估或推論。 尤其AI的時代來臨,基石源自於數據,數據相當於燃
Thumbnail
1.歷史由來 二戰時期,美國軍方希望透過統計學教授亞伯拉罕.沃德的專業,來建議戰鬥機如何補強,進而降低被擊落的可能。 有兩種選擇,如果你們是他,你們會選補強哪個地方呢?(後有附圖) 2.沃德的選擇 沃德教授建議軍方應加強A處(彈孔較少處),美國軍方覺得奇怪,
Thumbnail
1.歷史由來 二戰時期,美國軍方希望透過統計學教授亞伯拉罕.沃德的專業,來建議戰鬥機如何補強,進而降低被擊落的可能。 有兩種選擇,如果你們是他,你們會選補強哪個地方呢?(後有附圖) 2.沃德的選擇 沃德教授建議軍方應加強A處(彈孔較少處),美國軍方覺得奇怪,
Thumbnail
你可能有聽過什麼事倖存者偏誤,讓我們來聽聽著名的案例,二次世界大戰,盟軍一群軍事家,計畫補強轟炸機的鋼板,開始研究轟炸機回來基地後,受損的位置,圖片如下紅色的點,記錄的受傷的位置。 從上圖來看,軍事家發現,轟炸機大多數受傷的是在兩側的機翼跟機尾受傷,所以應該補強機翼跟機尾,而前方的駕駛艙呢?
Thumbnail
你可能有聽過什麼事倖存者偏誤,讓我們來聽聽著名的案例,二次世界大戰,盟軍一群軍事家,計畫補強轟炸機的鋼板,開始研究轟炸機回來基地後,受損的位置,圖片如下紅色的點,記錄的受傷的位置。 從上圖來看,軍事家發現,轟炸機大多數受傷的是在兩側的機翼跟機尾受傷,所以應該補強機翼跟機尾,而前方的駕駛艙呢?
Thumbnail
在《雜訊》一書中,用了非常圖像式的比喻來形容雜訊與偏誤。 還提出了人們在決策過程中所面臨的許多偏誤,這些偏誤會導致我們做出錯誤的決定,而如何解決這些偏誤成為了重要課題,包括多角度思考、設定明確目標、建立有效的決策機制等提供的方法,我們可以更客觀地看待問題,做出更明智的決策。
Thumbnail
在《雜訊》一書中,用了非常圖像式的比喻來形容雜訊與偏誤。 還提出了人們在決策過程中所面臨的許多偏誤,這些偏誤會導致我們做出錯誤的決定,而如何解決這些偏誤成為了重要課題,包括多角度思考、設定明確目標、建立有效的決策機制等提供的方法,我們可以更客觀地看待問題,做出更明智的決策。
Thumbnail
對過去的不如預期解釋的再透徹,也無助於未來的合乎預期;除非我們有對策可以避免過去的落差再次發生,同時降低突如其來的事件所造成的影響。
Thumbnail
對過去的不如預期解釋的再透徹,也無助於未來的合乎預期;除非我們有對策可以避免過去的落差再次發生,同時降低突如其來的事件所造成的影響。
Thumbnail
二次世界大戰,美國軍方,找來統計學教授沃德·亞伯拉罕,請他研究,如何加強戰鬥機的保護?可以使較多的戰鬥機存活下來。教授開始研究存活下來的飛機,經過統計,發現飛機主要受攻擊的位置,是水平尾翼、機翼端點、機翼機身交接處。因此,美軍認為,要加強保護這些被攻擊的部位。但教授想法相反...
Thumbnail
二次世界大戰,美國軍方,找來統計學教授沃德·亞伯拉罕,請他研究,如何加強戰鬥機的保護?可以使較多的戰鬥機存活下來。教授開始研究存活下來的飛機,經過統計,發現飛機主要受攻擊的位置,是水平尾翼、機翼端點、機翼機身交接處。因此,美軍認為,要加強保護這些被攻擊的部位。但教授想法相反...
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News