[發明專利]面向成員推理攻擊的基于異常點檢測的深度模型隱私保護方法

在審

• 申請號: 202110653336.8
• 申請日: 2021-06-11
• 公開（公告）號: CN113283536A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 陳晉音;上官文昌;吳長安;鄭雅羽
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F21/62;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 彭劍

本發明公開了一種面向成員推理攻擊的基于異常點檢測的深度模型隱私保護方法，通過正則化方法緩解目標模型的過擬合程度，然后在該模型上找出容易受到成員推理攻擊的異常樣本，進而從目標模型的訓練集中刪除這些樣本，最后重新訓練目標模型，達到防御效果。為了確定容易受到成員推理攻擊的樣本，首先建立參考模型訓練集，建立參考模型，用參考模型訓練集訓練參考模型，將待測樣本輸入參考模型，獲取待測樣本的特征向量，通過比較不同待測樣本的特征向量的距離，計算待測樣本的局部離群因子，局部離群因子大于1的樣本為異常樣本。利用本發明，可以消除傳統防御方法存在的梯度不穩定、訓練不收斂、收斂速度慢等問題，達到較好的防御性能。

技術領域

本發明屬于人工智能安全領域，尤其是涉及一種面向成員推理攻擊的基于異常點檢測的深度模型隱私保護方法。

背景技術

機器學習技術廣泛應用于圖像分類、自然語言處理、金融分析等領域。作為一種日益流行的商業模式，許多公司(例如，谷歌，微軟和亞馬遜)將機器學習部署為服務(MLaaS)為不同的客戶提供各種功能，如數據處理，模型訓練和數據預測。用戶可以將數據上傳到這些服務提供商來訓練自己的模型，也可以用黑盒的方式來公布這些模型。其他人擁有對這些模型的訪問權，但不知道這些模型內部的具體信息(內部參數)。另一方面，用戶上傳的數據是自己獨有的隱私數據，如用戶的位置、圖像、醫療保健和財務信息等。

然而，最近有研究表明，攻擊者可以通過成員推理攻擊來推斷機器學習模型的訓練數據信息。成員推理攻擊是通過查詢模型，來判斷輸入樣本是否為模型的訓練數據。攻擊者首先訓練成員推斷模型，該模型實質上是一個二進制分類器。然后，攻擊者根據目標模型的輸出，使用經過訓練的成員推斷模型來確定給定數據是否屬于目標模型的訓練集。如果對手可以正確地推斷出特定數據被用來訓練目標模型，則目標模型存在隱私泄露的風險。

目前提出了成員推理攻擊的防御方法主要是在模型的訓練過程中進行防御。最具有代表性的是對抗正則化方法。該方法借鑒了GAN的思路，其主要思想是將目標模型與成員推理模型進行對抗式訓練。訓練過程中，一方面提升目標模型對成員推理模型的防御能力，一方面增加成員推理模型對目標模型的攻擊能力，在結束迭代后，訓練好的目標模型面對攻擊能力強大的成員推理模型依然能有較好的防御效果。然而，這種防御方法存在一定的局限性。經過對抗式訓練的目標模型對正常樣本的預測準確率有明顯的下降，且因為損失函數的改變，目標模型在訓練過程中不容易收斂。

發明內容

為解決現有技術存在的上述問題，本發明提供了一種面向成員推理攻擊的基于異常點檢測的深度模型隱私保護方法，可以消除傳統防御方法存在的梯度不穩定、訓練不收斂、收斂速度慢等問題，達到較好的防御性能。

一種面向成員推理攻擊的基于異常點檢測的深度模型隱私保護方法，包括以下步驟：

(1)獲取圖像數據集，按比例分成目標模型訓練集和目標模型測試集；

(2)搭建目標模型，利用目標模型訓練集訓練目標模型；

(3)通過檢測目標模型訓練集的樣本，從中挑選出容易受到成員推理攻擊的樣本，具體過程如下：

(3-1)建立k個參考模型，參考模型的結構與目標模型的結構相同；

(3-2)建立k個參考模型訓練集，參考模型訓練集與目標模型訓練集中的待測樣本無重疊，并分別對k個參考模型進行訓練；參考模型訓練方式與目標模型訓練方式相同；

(3-3)選取步驟目標模型訓練集中的一個待測樣本x輸入參考模型r1，提取參考模型softmax層前的特征o1；后將待測樣本輸入參考模型r2，提取參考模型softmax層前的特征o2，重復上述過程直到獲取待測樣本x在k個參考模型下的特征；將k個特征拼接起來組成f作為待測樣本x的樣本特征；

(3-4)重復步驟(3-3)，建立目標模型訓練集中所有待測樣本的樣本特征；并計算兩兩樣本特征的余弦距離；