【資料科學微知識】什麼是倖存者偏差?

【資料科學微知識】什麼是倖存者偏差?

更新於 發佈於 閱讀時間約 3 分鐘

倖存者偏差(Survivorship bias)是一種認知偏差,指的是在觀察研究對象時,只關注了「倖存」或「成功」的部分,而忽略了已經「消失」或「失敗」的部分。

這種偏差通常發生在樣本不完整或有遺漏的情況下,而且容易導致對結果做出誤導性的評估或推論。

尤其AI的時代來臨,基石源自於數據,數據相當於燃料,經過一番統計運用之後才能夠聰明的理解我們的需求之後給予最貼近我們需要的答案,資料科學領域中最重視數據的佐證,但往往我們只看到表象而忽略了某些重要的關鍵因素,導致得出非正確的結論,造成偏差。

究竟誰對誰錯呢?

二戰的故事啟發

倖存者偏差最早起源於二戰時期的美國空軍對飛機損傷的研究,當時研究人員只研究了還能飛回來的飛機,並根據這些飛機的損傷部位提出了相應的補強建議。然而,這種研究卻忽略了已經被擊落的飛機,也就是失敗的一方。因此,研究的結果並不能完全代表整個飛機群體的損傷情況,可能會導致錯誤的結論。

研究人員根據戰鬥中回來的飛機進行分析,除了螺旋槳與駕駛艙之外,其它地方都佈滿了彈孔,就些彈孔分布的地方就成為了資料科學中統計的一個數據樣本。

而根據這些樣本,大部分軍方皆一致認為應該針對這些彈著點較多的地方進行加強,畢竟眼見為憑,事實的表象也讓我們直覺的認為應該如此決策,但此時統計學家卻獨排眾議,提出了不同的看法,認為應該要針對彈著點較少的地方進行防護。

那為什麼這會統計專家會得出這樣的結論呢?

從這個故事中我們觀察到,表面的證據並不能直接讓我們進行決策,假若我們單看倖存者而忽略了犧牲者時,便會導致結論偏向不正確的一方,在資料科學中也是如此,機器學習時若樣本數不足,或者未給予反面方的資料,很容易造成統計錯誤,進行推論出錯誤的決策。

結語

在其他領域,倖存者偏差也常常存在。例如,對於成功的企業家或投資者的研究,我們只看到他們的成功案例,卻忽略了那些失敗的案例。這樣容易產生錯誤的結論,認為成功是因為他們的某些特質或策略,而忽略了其他可能的因素。

為了避免倖存者偏差,研究人員應該盡可能獲取全面的數據,包括成功和失敗的案例,從而得出更客觀、全面的結論。在分析數據時,也需要謹慎思考,不僅關注成功的一面,還要考慮失敗的原因和因素,以獲得更完整的視角。

喜歡撰寫文章的你,不妨來了解一下:

Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 - 為什麼要加入?

歡迎加入一起練習寫作,賺取知識!

avatar-img
阿Han的沙龍
127會員
281內容數
哈囉,我是阿Han,是一位 👩‍💻 軟體研發工程師,喜歡閱讀、學習、撰寫文章及教學,擅長以圖代文,化繁為簡,除了幫助自己釐清思路之外,也希望藉由圖解的方式幫助大家共同學習,甚至手把手帶您設計出高品質的軟體產品。
留言
avatar-img
留言分享你的想法!
阿Han的沙龍 的其他內容
我們在「【🤖 cursor AI】如何在ubuntu 24.04安裝」有分享如何在Ubuntu安裝cursro這套AI編輯器, 使用起來大幅度的提昇開發效率, 但仍有些問題點需要克服, 比如說: LLM壓根不知道我們的數據庫長怎樣啊? 怎麼分析結構呢? 假設文檔又不足的狀況下更是艱辛, 如果LLM
我們在「【語音合成技術 - GPT-SoVITS】讓機器說人話的語音生成服務」分享了語音合成技術, 該套GPT-SoVITS也非常的出色, 但效能有點不是非常理想, 加上需要GPU才能達到較佳的體驗, 如此一來成本就會有點高了, 因此我們找了另外一套MeloTTS, 這一套強調CPU推理非常的快!
我們在「【語音合成技術 - GPT-SoVITS】如何架設API伺服器」分享如何架設API V3版本的TTS服務, 但發音的部份似乎只有早期的API版本才使用到g2pw這類的技術, 因此我們可能會需要將API退回舊版, 在這裡我們也整理了早期版本api與api_v2的一些差異, 期望幫助到正在面臨選
我們在「【🤖 cursor AI】如何在ubuntu 24.04安裝」有分享如何在Ubuntu安裝cursro這套AI編輯器, 使用起來大幅度的提昇開發效率, 但仍有些問題點需要克服, 比如說: LLM壓根不知道我們的數據庫長怎樣啊? 怎麼分析結構呢? 假設文檔又不足的狀況下更是艱辛, 如果LLM
我們在「【語音合成技術 - GPT-SoVITS】讓機器說人話的語音生成服務」分享了語音合成技術, 該套GPT-SoVITS也非常的出色, 但效能有點不是非常理想, 加上需要GPU才能達到較佳的體驗, 如此一來成本就會有點高了, 因此我們找了另外一套MeloTTS, 這一套強調CPU推理非常的快!
我們在「【語音合成技術 - GPT-SoVITS】如何架設API伺服器」分享如何架設API V3版本的TTS服務, 但發音的部份似乎只有早期的API版本才使用到g2pw這類的技術, 因此我們可能會需要將API退回舊版, 在這裡我們也整理了早期版本api與api_v2的一些差異, 期望幫助到正在面臨選