我對精準度可解釋性權衡的三個思考:度量相關,模型族專屬,權衡的確存在

更新於 發佈於 閱讀時間約 9 分鐘
圖片來源:https://www.johnslots.com/en/responsible-gambling/

圖片來源:https://www.johnslots.com/en/responsible-gambling/

本文章收集與評論三個體現「精準度-可解釋性權衡 (Accuracy-Interpretability Tradeoff)」的例子。

在詐欺偵測的數據集中,本來預期要觀察到的權衡,似乎並沒有出現。這令人非常好奇這個權衡的故事,源頭是哪邊。

本文章收錄三個,對於此權衡的認知升級

  • 這個權衡,似乎是metric dependent的
  • 可解釋性的刻畫,是model class specific
  • 賭博預測,在小範圍的模型下,的確有這個權衡

思考#1:權衡的確發生在R score與平均絕對誤差上

文章提供了一個「精準度-可解釋性權衡」的實踐例子。

此文章考慮的三個模型為

  1. 線性回歸 (Linear Regression)
  2. 決策樹 (Decision Tree)
  3. 梯度提升法 (Gradient Boosting)

裡面提供的數據為

#1 線性回歸
Mean Squared Error: 19592.4703292543
R score: 0.40700134640548247
Mean Absolute Error: 103.67180228987019
#2 決策樹
Mean Squared Error: 10880.635297455
R score: 0.6706795022162286
Mean Absolute Error: 73.76311613574498
#3 梯度提升法
Mean Squared Error: 1388.8979420780786
R score: 0.9579626971080454
Mean Absolute Error: 23.81293483364058

可以看到的是,隨著模型可解釋性下降,R score與Mean Absolute Error有顯著上升。

🤔 然而,這並不代表「分類任務」也會有這個權衡。還續繼續觀察。

思考#2:廣義加性模型,似乎沒有這個權衡

文章提供對廣義加性模型(Generalized Additive Model; GAM)的可解釋性思考。

文章提供的觀點是,歸納偏誤(Inductive Bias)是可解釋模型中重要的元素。

Our results suggest that inductive bias plays a crucial role in what interpretable models learn and that tree-based GAMs represent the best balance of sparsity, fidelity and accuracy and thus appear to be the most trustworthy GAM models.

其中想權衡的三個點為

  1. Sparsity: use fewer features to make predictions 用少一點的特徵來做預測
  2. Fidelity: true patterns in the data 要能反應數據的真實模式
  3. Accuracy: 就是準確度


思考#3:解釋賭博,的確在小範圍有這個權衡

文章是要看賭博行為,需要算法可解釋性。

Section 2 discusses the related work in the application of machine learning to understand and interpret gambling behaviour. Section 5 discusses the interpretability of our empirical results, and concludes the need for further research of understanding and measuring algorithm interpretation.

同樣的邏輯,應該也可以應用到我們這裡。

可解釋性的需求,來自Responsible Gambling這個社群,需要輸出對賭博行為的知識。

As reported in [15], we polled the audience at a related presentation at the 2016 New Horizons in Responsible Gambling conference to explore the importance of knowledge extraction and algorithm interpretability.

用投票的方式,人還是喜歡可以解釋的演算法或模型。

Respondents were asked whether they would prefer a responsible gambling assessment algorithm that provided a 90% accurate assessment of problem gambling risk that they could not unpack or understand, or a model that provided a 75% accurate assessment that was fully interpretable and accountable. Only 20% chose the more accurate model, with 70% preferring to sacrifice 15 percentage points of accuracy for greater interpretability (10% were uncertain or felt it depended on the circumstances).

這邊的目標是預測有害博弈(Harmful Gambling)。也算是一種分類問題。

其使用的數據集,在上癮部門可以拿到。

Building on the work from the live action sports betting dataset available from the Division on Addiction public domain, in [12] nine supervised learning methods were assessed at identifying disordered Internet sports gamblers.
This paper focuses on knowledge extraction by using random forests and artificial neural networks and TREPAN on a new IGT dataset to not only predict, but also describe, self-excluders through knowledge extraction.

裡面比較了Random forest, Neural Network, Decision Tree. 是用預測正確率來看。其中Random forest最好。

raw-image

感覺這個還是要自己做看看才知道。

而外產生的對合成數據的思考

合成數據與模擬數據還是不一樣的。

  • 合成數據是根據真實數據來訓練一個「數據集模型」,藉此生成數據
  • 模擬數據則是根據數理模型,根據隨機性機率理論,生成數據

合成數據訓練,可解釋性要如何賣?

想要弄成三個維度。現在有Fidelity, Accuracy,但不知道要怎麼「量化」可解釋性。

可能可以做Adult dataset,更原始,可能有更好的觀察?

留言
avatar-img
留言分享你的想法!
avatar-img
紫式講義的沙龍
4會員
23內容數
思考合成數據的各種原理,應用與效果。
紫式講義的沙龍的其他內容
2022/08/05
思考#1:防彈筆記的四個元素:目標成果,要解決的問題,下一步行動,下一步連結 站長在呈現此書,使用的元數據(Metadata)為 目標成果 要解決什麼問題 下一步行動 下一步連結 這個格式蠻好的,可以連結書的內容。 思考#2:鳥瞰書籍內容 Part 分析 防彈筆記的改變 防彈筆記的原則 內容分析
Thumbnail
2022/08/05
思考#1:防彈筆記的四個元素:目標成果,要解決的問題,下一步行動,下一步連結 站長在呈現此書,使用的元數據(Metadata)為 目標成果 要解決什麼問題 下一步行動 下一步連結 這個格式蠻好的,可以連結書的內容。 思考#2:鳥瞰書籍內容 Part 分析 防彈筆記的改變 防彈筆記的原則 內容分析
Thumbnail
2022/08/05
這篇文章記錄與強盜算法有關的職位。 職位#1:Amazon 資深運籌學科學家 職位#2: Tripadbisor 機器學習科學家 II Machine Learning Scientist II 職位#3:BOA 資料科學家 Data Scientist Desired skills:
Thumbnail
2022/08/05
這篇文章記錄與強盜算法有關的職位。 職位#1:Amazon 資深運籌學科學家 職位#2: Tripadbisor 機器學習科學家 II Machine Learning Scientist II 職位#3:BOA 資料科學家 Data Scientist Desired skills:
Thumbnail
2022/08/04
本文章與你分享我接觸這篇認知方法論課程後,產生的思考理解。 對「認知」這個字,搭配上生老病死,我覺得有下面的意涵: 生:零認知 老:覺得認知迭代 病:覺得認知缺乏 死:不再需要認知
Thumbnail
2022/08/04
本文章與你分享我接觸這篇認知方法論課程後,產生的思考理解。 對「認知」這個字,搭配上生老病死,我覺得有下面的意涵: 生:零認知 老:覺得認知迭代 病:覺得認知缺乏 死:不再需要認知
Thumbnail
看更多
你可能也想看
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
CFA和SEM分析的擬合指標通常需要達到專家門檻,才可以進行分析。我整理知名統計學者Hair的建議,並附上相關文獻佐證,讓讀者能正確地進行模型修正,讓適配指標過關。
Thumbnail
CFA和SEM分析的擬合指標通常需要達到專家門檻,才可以進行分析。我整理知名統計學者Hair的建議,並附上相關文獻佐證,讓讀者能正確地進行模型修正,讓適配指標過關。
Thumbnail
由 醜媳婦總是要見公婆-績效報表 的最佳化報表可知,無論我們將連續創高或創低的K棒數如何改變,均不可能讓淨利變正,代表我們不可能靠單一個指標值來獲利,此時改善方式只能再回到觀察圖表,由圖表中的訊號觀察是否有什麼改善方式。 由圖表中可發現當標示的紅點或綠點離均線越遠,則進場的時機點越好,如果可以增加
Thumbnail
由 醜媳婦總是要見公婆-績效報表 的最佳化報表可知,無論我們將連續創高或創低的K棒數如何改變,均不可能讓淨利變正,代表我們不可能靠單一個指標值來獲利,此時改善方式只能再回到觀察圖表,由圖表中的訊號觀察是否有什麼改善方式。 由圖表中可發現當標示的紅點或綠點離均線越遠,則進場的時機點越好,如果可以增加
Thumbnail
上一篇文章中, 我們向大家介紹了點估計, 提出了許多點估計會有的問題, 也給出了一些其他的替代方案, 今天我們將會從資料分散程度的角度切入, 跟大家分享另外一種做法。
Thumbnail
上一篇文章中, 我們向大家介紹了點估計, 提出了許多點估計會有的問題, 也給出了一些其他的替代方案, 今天我們將會從資料分散程度的角度切入, 跟大家分享另外一種做法。
Thumbnail
在经济学领域,现代的宏观经济全局性系统模型可以分为四大种类。
Thumbnail
在经济学领域,现代的宏观经济全局性系统模型可以分为四大种类。
Thumbnail
多元線性迴歸分析(Multiple regression analysis)是一種統計學方法,用於探索多個解釋變量對一個目標變量的影響。它是建立在線性迴歸分析的基礎上的,多元迴歸分析用於探討多個預測變數及一個依變數之間的關係,並且每個變項都是連續變項。本文將介紹多元迴歸分析概念。
Thumbnail
多元線性迴歸分析(Multiple regression analysis)是一種統計學方法,用於探索多個解釋變量對一個目標變量的影響。它是建立在線性迴歸分析的基礎上的,多元迴歸分析用於探討多個預測變數及一個依變數之間的關係,並且每個變項都是連續變項。本文將介紹多元迴歸分析概念。
Thumbnail
潛在類別模式(latent class modeling, LCM)和潛在剖面分析(Latent Profile Analysis, LPA)是探討潛在類別變項的統計技術。兩者與因素分析最大的不同在於潛在變項(因素)的形式。本文將介紹潛在類別/剖面/混合分析操作1:找出最佳組數
Thumbnail
潛在類別模式(latent class modeling, LCM)和潛在剖面分析(Latent Profile Analysis, LPA)是探討潛在類別變項的統計技術。兩者與因素分析最大的不同在於潛在變項(因素)的形式。本文將介紹潛在類別/剖面/混合分析操作1:找出最佳組數
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News