我對可解釋性的三個思考:可解釋資訊,合規與風險權衡,詐欺機率分數

閱讀時間約 6 分鐘
圖片來源:https://nam.edu/language-interpretation-and-translation-a-clarification-and-reference-checklist-in-service-of-health-literacy-and-cultural-respect/
本文章分享閱讀關於可解釋性的文章後,產生的三個思考理解。
利用真實數據訓練,可解釋性與準確度的權衡,是很常聽到的現象。
研究的主題,則是去問說:「這個權衡,如果改成合成數據訓練的話,是否還是有這種現象?」
下面收入三個思考
  • 思考#1:可解釋性的需求,以利人類翻譯資訊
  • 思考#2:可解釋的模型和法規,不可解釋的模型風險低
  • 思考#3:可解釋性,給詐欺機率分數,然後可以快速進去看問題在哪裡

思考#1:可解釋性的需求,以利人類翻譯資訊

詐欺偵測,照講會抓出些可疑的東西,進行調查。
調查的過程,需要內容的「可解釋性」。這個意思是,對於調查的運營,要有可解釋的資訊,來論證可疑性以及後續處理。
Fraud experts need for this task to have access to the right and interpretable information for each investigated operation in order to justify the suspicion and the resulting action.
實務上是怎麼做的呢?需要問問想想。
人類需要「模型可解釋性」來理解這些事情,不然很難下判斷。
human tasks create the need for model interpretability in order to treat each alert or understand globally the evolution of fraudsters’ behavior.
這個完全沒錯,但實務上要怎麼弄,就會有很多細節。

思考#2:可解釋的模型和法規,不可解釋的模型風險低

本真可解釋的模型,能夠符合政策的限制,但對詐欺偵測而言,不夠準確,產生較高的金融風險。因此事後可解釋的方法是一個風險較低的做法。
Intrinsically interpretable models, such as ..... , are characterized by their transparency and by a self-explainable structure. They are generally applied for use cases with legal or policy constraints (Zhuang et al., 2020), but they may well be not accurate enough for tasks such as fraud detection, which have high financial stakes. This explains why more accurate black box models look appealing as soon as a post hoc interpretability method is applied to provide explanations on either how they work or on their results.
的確,風險太大要想辦法降低風險。但也是要看每個應用的風險是什麼。
但Post hoc 的可解釋性,有個很大的缺點,就是無法在模型之間公平比較。
Among these methods, some, called post-hoc specific, are specific to a type of model. ..... . The main disadvantage of the latter is that their use is restricted to a single type of model and it is therefore complicated to compare performances and explanations of several different models.
不曉得事後可解釋性,具體是怎麼操作的。可能要回答這個問題後,再去想看看合成數據是不是真的有辦法免疫這個問題。
也就是說,如果可解釋模型的表現,可以靠合成數據來變得很好,那就真的不一定要用很好的模型,風險也很低了。
也有道理。如果做線性模型,可能改數據還比改模型的效果大很多。這個就是Data-centric想法的引人之處。

思考#3:可解釋性,給詐欺機率分數,然後可以快速進去看問題在哪裡

可解釋的覆蓋:根據一些可疑的行為特徵,給出詐欺機率分數,然後分數太高的要調查。
First, an anti-fraud software, carried by the publisher Bleckwen, is developed for instant cash transfer fraud, characterized by high operation frequencies and limited human involvement. This software is based on the improvement of a black box scoring model (XGBoost), resulting in a fraud probability score, completed with a local interpretative overlay: all operations over a given optimal threshold are suspended and must be investigated.
我們目前好像沒有這種「詐欺機率分數」的概念,可以繼續去發展看看細節。

之後閱讀的清單
  1. Weerts H, Ipenburg W and Pechenizkiy M (2019) Case-Based Reasoning for Assisting Domain Experts in Processing Fraud Alerts of Black-Box Machine Learning Models. Available at https://arxiv.org/pdf/1907.03334.pdf
    avatar-img
    4會員
    23內容數
    思考合成數據的各種原理,應用與效果。
    留言0
    查看全部
    avatar-img
    發表第一個留言支持創作者!
    紫式講義的沙龍 的其他內容
    這篇文章記錄我讀超速文章術的三個思考與理解。 這本書之前有讀過,這次想到又拿來讀讀。讀完後感覺重點其實不太明顯,很多敘述性的冗余,但也還算有思想。但離目前我想寫的東西,還需做很多修改。 不過也是多看多想多想。隨意寫,讓讀的人有感覺,之後自己也會愈來愈進步,想到特殊的做法。 獨自的事實 數字
    今天早上想到這個問題,就是當我要介紹一個思維工具時,很詳細的話,是到什麼內容的層級? 思考#1:工具要用起來,要讓讀者真的能參與行動,造成改變 分析最近閱讀的工具書,發現他是一種資訊導向的文獻式寫作。 其針對思維工具的關鍵字,不斷給出描述,串起各種技術細節內容。 一個工具要用起來,要親身實踐。
    本文章思考最新證明的後悔界,要如何讓審稿人容易理解。 思考#1:用問題零件,讓後悔界可讀 我覺得可以用幾個分類,來把相關的Term給仔細描述。 我覺得分別從3個角度(beta, x, epsilon)出發,會讓讀者更容易消化裡面的內容。
    本文章想分享給你,我在閱讀數位寫作的22條法則後,產生的3個理解與思考。 這個月的一個聚焦目標,是仔細研究數位寫作的各種技術。 數位寫作有別於一般寫作,講究以讀者的反應為優先。 你的寫作是為了自己,為了一個具體讀者,還是為了一群想像的讀者呢?
    這篇文章想介紹給你,我閱讀內部審計(Internal Audit)相關文件以後,所產生的三個思考與理解。 這篇文章收錄了三個思考,幫助我對內部審計有很大程度認識的提升。
    本篇文章想與你分享,我閱讀「引人入勝想法慣例 (Routines for Engaging with Ideas)」後,產生的想法與理解。 這個章節下有六個慣例,仔細分析他們的目的,會發現很有意思 辨認與問出更好的問題 架構對主題的探索,以建築理解。 利用可視化聚焦描述,建築工作記憶
    這篇文章記錄我讀超速文章術的三個思考與理解。 這本書之前有讀過,這次想到又拿來讀讀。讀完後感覺重點其實不太明顯,很多敘述性的冗余,但也還算有思想。但離目前我想寫的東西,還需做很多修改。 不過也是多看多想多想。隨意寫,讓讀的人有感覺,之後自己也會愈來愈進步,想到特殊的做法。 獨自的事實 數字
    今天早上想到這個問題,就是當我要介紹一個思維工具時,很詳細的話,是到什麼內容的層級? 思考#1:工具要用起來,要讓讀者真的能參與行動,造成改變 分析最近閱讀的工具書,發現他是一種資訊導向的文獻式寫作。 其針對思維工具的關鍵字,不斷給出描述,串起各種技術細節內容。 一個工具要用起來,要親身實踐。
    本文章思考最新證明的後悔界,要如何讓審稿人容易理解。 思考#1:用問題零件,讓後悔界可讀 我覺得可以用幾個分類,來把相關的Term給仔細描述。 我覺得分別從3個角度(beta, x, epsilon)出發,會讓讀者更容易消化裡面的內容。
    本文章想分享給你,我在閱讀數位寫作的22條法則後,產生的3個理解與思考。 這個月的一個聚焦目標,是仔細研究數位寫作的各種技術。 數位寫作有別於一般寫作,講究以讀者的反應為優先。 你的寫作是為了自己,為了一個具體讀者,還是為了一群想像的讀者呢?
    這篇文章想介紹給你,我閱讀內部審計(Internal Audit)相關文件以後,所產生的三個思考與理解。 這篇文章收錄了三個思考,幫助我對內部審計有很大程度認識的提升。
    本篇文章想與你分享,我閱讀「引人入勝想法慣例 (Routines for Engaging with Ideas)」後,產生的想法與理解。 這個章節下有六個慣例,仔細分析他們的目的,會發現很有意思 辨認與問出更好的問題 架構對主題的探索,以建築理解。 利用可視化聚焦描述,建築工作記憶
    你可能也想看
    Google News 追蹤
    Thumbnail
      會執行程式交易通常都有自己手單交易過的人,容易陷入自己主觀判斷進而影響量化交易,是因為來自於自己相信自己的判斷而非程式的進出場依據所造成,所以當有經驗的操作者要切入量化交易很容易犯這方面的問題,反而是從未進行交易過的,直接進行量化交易的小白是最適合,因為只能相信系統的買賣進出交易,反而可以有紀律
    攻擊者的目的,是發展出一種方式, 能夠可靠辨認出特定的數據點, 是否包含於目前算法的訓練數據中, 以此來窺探算法的訓練數據隱私。 有另外一類的研究,叫做數據拷貝, 則是直接觀察算法的輸出, 看看算法輸出是否有過於靠近訓練數據的情形。 這種數據拷貝的觀察, 也轉成另一種成員推論攻擊的形式。
    Thumbnail
    在面對不熟悉的領域時,人們傾向相信專家的建議。文章提到了判斷理財專家是否值得信任的條件,並強調了直覺在決策中的重要性。此外,利益衝突的影響也被細節解說,強調了許多人始終偏向相信專家的建議,但並不是所有專家都值得信任。
    Thumbnail
    這篇文章分享了作者在參與預估專案時的思考脈絡和學習點,透過兩個具體的案例,探討了預估方法中重要的假設和挑戰。
    Thumbnail
    對於新事物的解讀,我們最省時省力的方式是,以既有的經驗框架去推測可能的結果,但能百分百正確預估嗎?常常會出乎我們意料,因為人與環境可能分秒間迅速地變動,但我們對環境中的人事物解讀卻是採取固定思維,這是人類的盲點與優勢——預測。
    Thumbnail
    瞭解詐欺罪的構成要件,包括主觀和客觀的要素,以及刑罰基準。主觀包括不法意圖和犯罪故意,客觀包括施以詐術、陷於錯誤、處分財產和財產損害。詐欺罪成立的前提是行為人的詐術使受害者產生錯誤的認知,並導致受害者處分財產,使其財產實際減少。
    Thumbnail
    詐欺罪的成立依賴於行為人的主觀意圖和客觀行為,這兩者之間必須存在因果關係。以下是詐欺罪的構成要件的詳細說明: 一、主觀要件(行為人的內心想法) 不法意圖:行為人有意透過欺詐手段獲取他人財物或其他利益。 犯罪故意:行為人知道自己的行為會對他人造成損害,但仍帶著獲取不當利益的目的故意行事。
    Thumbnail
    以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 1.2 Structured Probabilistic Models 既然要融入Uncertainty和Probability
    Thumbnail
    以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 Introduction 1.1 Motivation 想要有一個智能體能接收輸入訊息,進而輸出對應動作甚至做Reasoning
    Thumbnail
    我們常把研究分成量化與質性兩種不同的方法(當然不止這兩種方法),其中量化分析主要在討論變數與變數的關係,而質性分析則在變數間在的互動過程與事件。因此通常在進行質性研究時,我們需要收集大量田野調查或訪談資料。做過訪談的人都知道,訪談後需要反覆的聆聽訪談錄音並將其轉化為訪談逐字稿,這是一個大工程,還好現
    Thumbnail
      會執行程式交易通常都有自己手單交易過的人,容易陷入自己主觀判斷進而影響量化交易,是因為來自於自己相信自己的判斷而非程式的進出場依據所造成,所以當有經驗的操作者要切入量化交易很容易犯這方面的問題,反而是從未進行交易過的,直接進行量化交易的小白是最適合,因為只能相信系統的買賣進出交易,反而可以有紀律
    攻擊者的目的,是發展出一種方式, 能夠可靠辨認出特定的數據點, 是否包含於目前算法的訓練數據中, 以此來窺探算法的訓練數據隱私。 有另外一類的研究,叫做數據拷貝, 則是直接觀察算法的輸出, 看看算法輸出是否有過於靠近訓練數據的情形。 這種數據拷貝的觀察, 也轉成另一種成員推論攻擊的形式。
    Thumbnail
    在面對不熟悉的領域時,人們傾向相信專家的建議。文章提到了判斷理財專家是否值得信任的條件,並強調了直覺在決策中的重要性。此外,利益衝突的影響也被細節解說,強調了許多人始終偏向相信專家的建議,但並不是所有專家都值得信任。
    Thumbnail
    這篇文章分享了作者在參與預估專案時的思考脈絡和學習點,透過兩個具體的案例,探討了預估方法中重要的假設和挑戰。
    Thumbnail
    對於新事物的解讀,我們最省時省力的方式是,以既有的經驗框架去推測可能的結果,但能百分百正確預估嗎?常常會出乎我們意料,因為人與環境可能分秒間迅速地變動,但我們對環境中的人事物解讀卻是採取固定思維,這是人類的盲點與優勢——預測。
    Thumbnail
    瞭解詐欺罪的構成要件,包括主觀和客觀的要素,以及刑罰基準。主觀包括不法意圖和犯罪故意,客觀包括施以詐術、陷於錯誤、處分財產和財產損害。詐欺罪成立的前提是行為人的詐術使受害者產生錯誤的認知,並導致受害者處分財產,使其財產實際減少。
    Thumbnail
    詐欺罪的成立依賴於行為人的主觀意圖和客觀行為,這兩者之間必須存在因果關係。以下是詐欺罪的構成要件的詳細說明: 一、主觀要件(行為人的內心想法) 不法意圖:行為人有意透過欺詐手段獲取他人財物或其他利益。 犯罪故意:行為人知道自己的行為會對他人造成損害,但仍帶著獲取不當利益的目的故意行事。
    Thumbnail
    以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 1.2 Structured Probabilistic Models 既然要融入Uncertainty和Probability
    Thumbnail
    以下內容是我閱讀Probabilistic Graphical Model, Koller 2009一書的讀書筆記,未來將不定期新增內容,此技術屬AI人工智慧範疇。 Introduction 1.1 Motivation 想要有一個智能體能接收輸入訊息,進而輸出對應動作甚至做Reasoning
    Thumbnail
    我們常把研究分成量化與質性兩種不同的方法(當然不止這兩種方法),其中量化分析主要在討論變數與變數的關係,而質性分析則在變數間在的互動過程與事件。因此通常在進行質性研究時,我們需要收集大量田野調查或訪談資料。做過訪談的人都知道,訪談後需要反覆的聆聽訪談錄音並將其轉化為訪談逐字稿,這是一個大工程,還好現