DP 001｜如何評估你算法的成員推論風險？

今天聊一聊由Tobias Leemann[1] 所著作的，

這篇文章，

推薦給想了解「成員推論攻擊 Membership Inference Attack」，

相關理論的研究人員，

因為這篇文章示範了如何結合「成員推論攻擊」與「隨機梯度下降」。

在本文章的3.2節，其提供了一個假設檢定的框架，

來描述什麼是「成員推論隱私 Membership Inference Privacy」。

在定義3.1 描述的「成員攻擊實驗 Membership Inference Experiment」中，

攻擊者關心的「目標個體 Target Individual」，

可能來自算法的訓練集中個一個數據點，

也可能來自同樣算法訓練數據分佈的其他數據點。

攻擊者的目的，是發展出一種方式，

能夠可靠辨認出特定的數據點，

是否包含於目前算法的訓練數據中，

以此來窺探算法的訓練數據隱私。

有另外一類的研究，叫做數據拷貝，

則是直接觀察算法的輸出，

看看算法輸出是否有過於靠近訓練數據的情形。

這種數據拷貝的觀察，

也能轉成另一種成員推論攻擊的形式。

總之，由於「隱私保持機器學習 Privacy-Preserving Machine Learning」的目的是保護「個人數據 Personal Data」，

因此我們需要研究一個機器學習算法，

被成員推論攻擊下產生的隱私風險，

藉此來度量個人數據遭洩露的機率。

Reference

[1] https://scholar.google.com/citations?user=VsNjvo0AAAAJ&hl=de

[2] https://arxiv.org/pdf/2306.07273