機器學習裡的歷史偏見:從亞馬遜的招聘到預測性警務,如何避免AI放大社會不公?

更新於 發佈於 閱讀時間約 3 分鐘

人工智能(AI)和機器學習(ML)正在改變我們生活的方方面面,從購物推薦到醫療診斷,再到犯罪預測。我們常常認為這些技術工具是客觀公正的,能夠幫助我們擺脫人類的偏見和主觀判斷。然而,事實並非如此簡單。


讓我們從一個著名的案例說起。2018年,亞馬遜公司被爆出其招聘AI系統存在性別歧視。這個系統被訓練用來篩選求職者的簡歷,但它學會了偏向男性候選人。原因很簡單:亞馬遜過去10年的招聘數據中,技術崗位大多由男性佔據。AI系統從這些歷史數據中「學習」,認為男性更適合這些崗位。


這就是所謂的「歷史偏見」(Historical Bias)。它源於我們社會長期存在的不平等和歧視,通過數據被ML模型「繼承」下來。即使我們試圖創建一個完全反映現實的數據集,這種偏見仍然會存在。


類似的問題也出現在其他領域。在美國,一些警察部門使用預測性警務(Predictive Policing)系統來預測犯罪熱點。然而,研究表明這些系統往往會將警力過度集中在有色人種社區。原因是這些社區歷史上受到過度警察執法,產生了更多的犯罪記錄數據。AI系統學習這些數據後,就會建議增加這些地區的巡邏,形成一個惡性循環。


(https://www.technologyreview.com/2020/07/17/1005396/predictive-policing-algorithms-racist-dismantled-machine-learning-bias-criminal-justice/)


醫療領域也不能倖免。2019年的一項研究發現,一個被廣泛使用的醫療算法在預測患者的醫療需求時存在種族偏見。該算法使用過去的醫療費用來預測未來的健康風險,但由於非裔美國人平均獲得的醫療資源較少,算法錯誤地認為他們比同等健康狀況的白人患者風險更低。


(https://science.sciencemag.org/content/366/6464/447)


這些案例揭示了ML系統中歷史偏見的危險性。它們不僅複製了過去的不平等,還可能以一種更大規模、更難察覺的方式強化這些不平等。數學家凱西·奧尼爾(Cathy O'Neil)將這種現象稱為「數學毀滅武器」。


那麼,我們該如何應對這個問題呢?


第一步是提高認識。開發和使用ML系統的人員需要意識到歷史偏見的存在,並主動檢測和緩解這些偏見。


其次,我們需要更多元化的數據科學團隊。不同背景的人可以帶來不同的視角,有助於識別和糾正盲點。


在技術層面,研究人員正在開發各種方法來減少偏見。例如,「對抗性去偏見」(Adversarial Debiasing)技術試圖訓練模型在做出預測時「忘記」受保護屬性(如種族或性別)。另一種方法是在訓練數據中平衡不同群體的表示。


(https://arxiv.org/abs/1801.07593)


更重要的是,我們需要建立監管機制。獨立的第三方機構應該對高風險的AI系統進行審計,確保它們符合公平和非歧視的標準。


最後,我們不能忘記人類的判斷和道德考量。ML系統應該是輔助工具,而不是完全取代人類決策。在關鍵決策中,我們仍然需要人類的參與和監督。


歷史偏見是ML領域的一個棘手問題,但它也提醒我們技術的局限性。通過認識這個問題,並採取積極措施來應對,我們才能確保AI真正成為推動社會進步的力量,而不是複製和放大現有的不平等。

留言
avatar-img
留言分享你的想法!
avatar-img
小罗LA的沙龍
0會員
18內容數
小罗LA的沙龍的其他內容
2024/09/19
身為程式設計師,我們總是希望能打造一個舒適高效的工作環境。但市面上那些動輒上千元的「必備神器」真的有必要嗎?其實只要幾百塊,就能大幅提升你的工作效率和舒適度。今天就來分享10個平價又實用的工作臺升級小物,讓你的程式碼質量蹭蹭往上長! 1. 120W USB-C 傳輸線:告別充電煩惱 隨著
2024/09/19
身為程式設計師,我們總是希望能打造一個舒適高效的工作環境。但市面上那些動輒上千元的「必備神器」真的有必要嗎?其實只要幾百塊,就能大幅提升你的工作效率和舒適度。今天就來分享10個平價又實用的工作臺升級小物,讓你的程式碼質量蹭蹭往上長! 1. 120W USB-C 傳輸線:告別充電煩惱 隨著
2024/09/17
在嵌入式設備中,電池狀態的估算一直是個棘手的問題。不同於傳統的固定模型,利用機器學習來預測電池剩餘電量(SOC)成為了一個極具潛力的方向。然而,在急於套用模型之前,我們往往忽視了一個關鍵步驟——探索性數據分析(EDA)。 EDA的重要性不言而喻。它不僅幫助我們理解數據的本質,還為後續的模型選擇
2024/09/17
在嵌入式設備中,電池狀態的估算一直是個棘手的問題。不同於傳統的固定模型,利用機器學習來預測電池剩餘電量(SOC)成為了一個極具潛力的方向。然而,在急於套用模型之前,我們往往忽視了一個關鍵步驟——探索性數據分析(EDA)。 EDA的重要性不言而喻。它不僅幫助我們理解數據的本質,還為後續的模型選擇
2024/09/17
在概率論與統計學的發展長河中,貝葉斯定理與柴普曼-科爾莫戈洛夫方程無疑是兩座里程碑。這兩個看似獨立的數學工具,實則在動態認知系統的研究中產生了深刻的聯繫。本文將探討這種聯繫,並闡述其對現代人工智能和機器學習的啟示。 貝葉斯定理源於18世紀英國數學家托馬斯·貝葉斯的工作。它提供了一種根據先驗知識
2024/09/17
在概率論與統計學的發展長河中,貝葉斯定理與柴普曼-科爾莫戈洛夫方程無疑是兩座里程碑。這兩個看似獨立的數學工具,實則在動態認知系統的研究中產生了深刻的聯繫。本文將探討這種聯繫,並闡述其對現代人工智能和機器學習的啟示。 貝葉斯定理源於18世紀英國數學家托馬斯·貝葉斯的工作。它提供了一種根據先驗知識
看更多
你可能也想看
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
人工智能:革命性技術的崛起與挑戰 1. 什麼是人工智能? 人工智能(AI)是指由人類創造的機器或系統,能夠模仿人類智能,執行通常需要人類智能才能完成的任務。這包括學習、問題解決、語言理解、視覺感知等能力。AI系統可以處理大量數據,識別模式,並根據這些信息做出決策或預測。 2.
Thumbnail
人工智能:革命性技術的崛起與挑戰 1. 什麼是人工智能? 人工智能(AI)是指由人類創造的機器或系統,能夠模仿人類智能,執行通常需要人類智能才能完成的任務。這包括學習、問題解決、語言理解、視覺感知等能力。AI系統可以處理大量數據,識別模式,並根據這些信息做出決策或預測。 2.
Thumbnail
文/楊宏文(Hubert) 曾經協助Google打造搜尋及人工智慧業務團隊的約翰.詹南德雷亞 (John Giannandrea) 表示:與其擔心AI淘汰人類,不如先擔心有偏見的AI帶來的社會隱憂。 那麼,什麼是有偏見的AI呢? 請你先打開ChatGPT, Gemini, Copilot或Cl
Thumbnail
文/楊宏文(Hubert) 曾經協助Google打造搜尋及人工智慧業務團隊的約翰.詹南德雷亞 (John Giannandrea) 表示:與其擔心AI淘汰人類,不如先擔心有偏見的AI帶來的社會隱憂。 那麼,什麼是有偏見的AI呢? 請你先打開ChatGPT, Gemini, Copilot或Cl
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
在當今快速發展的技術時代,人工智能 Artificial Intelligence 和機器學習 Machine Learning 已成為推動業務創新和增長的重要力量。從改善客戶服務到優化運營流程,AI和ML的應用範圍日益廣泛,為企業創造出前所未有的機會。企業又可如何利用AI和ML提升業務呢?
Thumbnail
在當今快速發展的技術時代,人工智能 Artificial Intelligence 和機器學習 Machine Learning 已成為推動業務創新和增長的重要力量。從改善客戶服務到優化運營流程,AI和ML的應用範圍日益廣泛,為企業創造出前所未有的機會。企業又可如何利用AI和ML提升業務呢?
Thumbnail
AI的世界充滿了創新和潛力,涵蓋了許多領域,包括但不限於機器學習,自然語言處理、電腦視覺和機器人技術。AI對人類社會的影響是複雜而多層面的,既帶來了巨大的機遇,也提出了新的挑戰。社會需要在技術發展和倫理規範之間找到平衡,確保AI技術的應用能夠真正造福人類。
Thumbnail
AI的世界充滿了創新和潛力,涵蓋了許多領域,包括但不限於機器學習,自然語言處理、電腦視覺和機器人技術。AI對人類社會的影響是複雜而多層面的,既帶來了巨大的機遇,也提出了新的挑戰。社會需要在技術發展和倫理規範之間找到平衡,確保AI技術的應用能夠真正造福人類。
Thumbnail
自從AI浪潮席捲全世界以後,大家都想知道AI的極限可以到那裡?而隨著AI開始人性化,大家比較擔心的是它的善惡觀是否和人類一致? 因為就人類自身來看,每個人、每個種族、每個國家都有一種自以為是的正義感,總認為自己所做的都是對的,這樣的對錯在AI的量子電腦運算中,到底會呈現什麼樣的結果? 其實最好的
Thumbnail
自從AI浪潮席捲全世界以後,大家都想知道AI的極限可以到那裡?而隨著AI開始人性化,大家比較擔心的是它的善惡觀是否和人類一致? 因為就人類自身來看,每個人、每個種族、每個國家都有一種自以為是的正義感,總認為自己所做的都是對的,這樣的對錯在AI的量子電腦運算中,到底會呈現什麼樣的結果? 其實最好的
Thumbnail
AI與人類分工:預測與判斷的智慧結合
Thumbnail
AI與人類分工:預測與判斷的智慧結合
Thumbnail
新聞中,一位國際人力資源專家得意地介紹AI已經應用在各大公司面試的實際例子,卻讓我覺得毛骨悚然...
Thumbnail
新聞中,一位國際人力資源專家得意地介紹AI已經應用在各大公司面試的實際例子,卻讓我覺得毛骨悚然...
Thumbnail
今天說的是一種稱為「自動化偏誤」(automation bias)的認知偏誤。人們常會不加思索地認為由自動化決策系統,例如現在常用的ChatGPT,會有程式語言賦予的理性與客觀,比較能避免人類常見的各種偏見。
Thumbnail
今天說的是一種稱為「自動化偏誤」(automation bias)的認知偏誤。人們常會不加思索地認為由自動化決策系統,例如現在常用的ChatGPT,會有程式語言賦予的理性與客觀,比較能避免人類常見的各種偏見。
Thumbnail
AI 是人工智能 (Artificial Intelligence) 的縮寫。它指一種模擬、模仿人類智能的技術與系統。主要使機器能夠執行需要人類智慧才能完成的任務。應用於各領域,包括自動駕駛車輛、語音助手、推薦系統、金融分析、醫學診斷、工業自動化等。不僅可提高效率和準確性,還可解決複雜的問題和挑戰。
Thumbnail
AI 是人工智能 (Artificial Intelligence) 的縮寫。它指一種模擬、模仿人類智能的技術與系統。主要使機器能夠執行需要人類智慧才能完成的任務。應用於各領域,包括自動駕駛車輛、語音助手、推薦系統、金融分析、醫學診斷、工業自動化等。不僅可提高效率和準確性,還可解決複雜的問題和挑戰。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News