DP 001|如何評估你算法的成員推論風險?

DP 001|如何評估你算法的成員推論風險?

更新於 發佈於 閱讀時間約 3 分鐘

今天聊一聊由Tobias Leemann[1] 所著作的,


《Gaussian Membership Inference Privacy》[2]。


這篇文章,


推薦給想了解「成員推論攻擊 Membership Inference Attack」,


相關理論的研究人員,


因為這篇文章示範了如何結合「成員推論攻擊」與「隨機梯度下降」。


在本文章的3.2節,其提供了一個假設檢定的框架,


來描述什麼是「成員推論隱私 Membership Inference Privacy」。


在定義3.1 描述的「成員攻擊實驗 Membership Inference Experiment」中,


攻擊者關心的「目標個體 Target Individual」,


可能來自算法的訓練集中個一個數據點,


也可能來自同樣算法訓練數據分佈的其他數據點。


攻擊者的目的,是發展出一種方式,


能夠可靠辨認出特定的數據點,


是否包含於目前算法的訓練數據中,


以此來窺探算法的訓練數據隱私。


有另外一類的研究,叫做數據拷貝,


則是直接觀察算法的輸出,


看看算法輸出是否有過於靠近訓練數據的情形。


這種數據拷貝的觀察,


也能轉成另一種成員推論攻擊的形式。


總之,由於「隱私保持機器學習 Privacy-Preserving Machine Learning」的目的是保護「個人數據 Personal Data」,


因此我們需要研究一個機器學習算法,


被成員推論攻擊下產生的隱私風險,


藉此來度量個人數據遭洩露的機率。


Reference

[1] https://scholar.google.com/citations?user=VsNjvo0AAAAJ&hl=de

[2] https://arxiv.org/pdf/2306.07273

avatar-img
王啟樺的沙龍
558會員
1.8K內容數
Outline as Content
留言
avatar-img
留言分享你的想法!
王啟樺的沙龍 的其他內容
1. 制定嚴謹的工作節奏: - 在 UCLA 擔任博士後研究員的這兩年,我制定了嚴謹的工作節奏,具體來說,我的工作週期是週日到週四工作,週五週六休息。每天的工作時間是從早上 8:30 到下午 3:30,共 7 個小時。這樣每天 7 小時,一週累積 35 小時的高強度專注工作,使我能夠達到高效率和高
今天聊聊 Marc Abeille[1] 所著作的《Linear Thompson Sampling Revisited》[2]。 這篇文章是分析Linear Thompson Sampling的理論經典文章。 文章裡面示範了如何將 Thompson取樣, 看作是一種對參數的擾動,
1. 追求整本書讀完 - 很多學生會執著於把整本書從頭到尾讀完,卻忽略了是否真正吸收了書中的重要知識點。這種追求完美的閱讀方式容易讓人感到壓力,反而無法從閱讀中獲得真正的啟發與樂趣。其實,與其專注於讀完每一頁,不如專注於書中對你有啟發的部分,這樣才能更有效地利用你的時間和精力。 2.
你學習任何數學, 都要問這哪個部分是微積分長出來的, 哪個部分是線性代數長出來的。 當然,你需要先把微積分與線性代數學一次, 知道裡面有哪些內容, 接下來學任何新的東西,其實都是微積分跟線性代數。
當面對失敗時,我們本能上會感到厭惡。這種厭惡感讓我們害怕失敗,進而避免去嘗試新的挑戰。然而,成功的人往往能克服這種厭惡,勇於面對失敗,從中學習並改進。學會克服這種厭惡感,是成長的重要一步。厭惡失敗是人類的本能反應,但我們可以透過心理訓練和實踐,不斷減少這種厭惡感,進而更積極地面對挑戰。
Nick Milo 的寫作都很隨性, 很難看到他對自己的用字有比較準確的定義, 導致我雖然加入社群很久了, 但總覺得他每次講的東西都跟上次不一樣。 不過Nick Milo 這種不嚴謹的習慣, 也讓他每次都能跑出一些意料之外的想法, 每次的工作坊都能學到蠻多有趣的概念。
1. 制定嚴謹的工作節奏: - 在 UCLA 擔任博士後研究員的這兩年,我制定了嚴謹的工作節奏,具體來說,我的工作週期是週日到週四工作,週五週六休息。每天的工作時間是從早上 8:30 到下午 3:30,共 7 個小時。這樣每天 7 小時,一週累積 35 小時的高強度專注工作,使我能夠達到高效率和高
今天聊聊 Marc Abeille[1] 所著作的《Linear Thompson Sampling Revisited》[2]。 這篇文章是分析Linear Thompson Sampling的理論經典文章。 文章裡面示範了如何將 Thompson取樣, 看作是一種對參數的擾動,
1. 追求整本書讀完 - 很多學生會執著於把整本書從頭到尾讀完,卻忽略了是否真正吸收了書中的重要知識點。這種追求完美的閱讀方式容易讓人感到壓力,反而無法從閱讀中獲得真正的啟發與樂趣。其實,與其專注於讀完每一頁,不如專注於書中對你有啟發的部分,這樣才能更有效地利用你的時間和精力。 2.
你學習任何數學, 都要問這哪個部分是微積分長出來的, 哪個部分是線性代數長出來的。 當然,你需要先把微積分與線性代數學一次, 知道裡面有哪些內容, 接下來學任何新的東西,其實都是微積分跟線性代數。
當面對失敗時,我們本能上會感到厭惡。這種厭惡感讓我們害怕失敗,進而避免去嘗試新的挑戰。然而,成功的人往往能克服這種厭惡,勇於面對失敗,從中學習並改進。學會克服這種厭惡感,是成長的重要一步。厭惡失敗是人類的本能反應,但我們可以透過心理訓練和實踐,不斷減少這種厭惡感,進而更積極地面對挑戰。
Nick Milo 的寫作都很隨性, 很難看到他對自己的用字有比較準確的定義, 導致我雖然加入社群很久了, 但總覺得他每次講的東西都跟上次不一樣。 不過Nick Milo 這種不嚴謹的習慣, 也讓他每次都能跑出一些意料之外的想法, 每次的工作坊都能學到蠻多有趣的概念。