[發明專利]面向成員推理攻擊的基于特征增強的深度模型隱私保護方法和裝置

在審

• 申請號: 202110619608.2
• 申請日: 2021-06-03
• 公開（公告）號: CN113283520A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 陳晉音;上官文昌;鮑亮;吳長安
• 申請（專利權）人: 浙江工業大學;公安部第三研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/10;G06F21/62;G06K9/00
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

本發明公開了一種面向成員推理攻擊的基于特征增強的深度模型隱私保護方法和裝置，包括：在用于人臉識別的原始目標模型中增加用于增強特征的特征增強單元，組成增強目標模型，利用圖像樣本優化增強目標模型的模型參數；構建用于模擬目標模型的陰影模型，利用圖樣樣本優化陰影模型的模型參數，依據參數優化的陰影模型的輸出置信度重新定義型標簽，以構建新圖像樣本；構建用于判別圖像是否為攻擊的攻擊模型，利用新圖像樣本優化攻擊模型的模型參數；利用參數優化的增強目標模型獲得輸入測試圖像的預測置信度，并將預測置信度輸入至參數優化的攻擊模型，經計算獲得攻擊模型的預測結果，依據預測結果判斷測試圖像是否為原始目標模型的訓練樣本。

技術領域

本發明屬于信息安全技術領域，具體涉及一種面向成員推理攻擊的基于特征增強的深度模型隱私保護方法和裝置。

背景技術

機器學習(ML)的進步已進入了現實生活中諸多場景，例如分類，推薦和自然語言處理等?，F代深度神經網絡(DNN)的成功主要取決于目前強大的計算能力和大量數據的可用性。機器學習即服務(MLaaS)提供商已經利用了上述兩個可用性，開發了面向客戶的機器學習服務。通過提供黑盒的交互接口，MLaaS允許個人或團體輕松地上傳數據，利用強大的DNN并通過即用即付的方式應用多種分析服務。

但是，目前DNN模型存在重要的隱私安全風險。研究人員通過研究發現MLaaS對敏感數據(例如患者治療記錄)存在嚴重的安全和隱私方面的風險。即使DNN模型結構處于黑盒狀態，MLaaS也會泄漏有關用于構建模型的訓練數據的敏感信息。例如，成員推理攻擊(MIA)就是利用上述漏洞的多種重要推理攻擊之一。通過使用MIA，攻擊者通過重復且復雜設計的推理請求來觀測DNN模型的獨特行為，從而判斷輸入樣本是否為目標模型的訓練數據。

為了應對MIA挑戰，目前已經開發了幾種機制。差分隱私(DP)是一種針對一般推理攻擊的主要隱私保護機制，該機制基于將噪聲添加到訓練模型的梯度或目標函數中，已應用于不同的機器學習模型。盡管DP的魯棒性已經被證明，但是DP的效用成本很難被限制到可接受的范圍，因為在保護復雜模型和高維數據時，如果噪聲太大，會帶來很大的分類準確性損失。另一種防御機制是對抗正則化方法。該方法借鑒了生成式對抗網絡的思路，其主要思想是將目標模型與實施成員推理的攻擊模型進行對抗式訓練。訓練二者的過程中，一方面可以提升目標模型對攻擊模型的防御能力，一方面可以增加攻擊模型對目標模型的攻擊能力，在結束迭代后，訓練好的目標模型面對攻擊能力強大的成員推理模型依然有較好的防御效果。然而，這種防御方法具有一定的局限性。對抗式訓練引入了較高的時間復雜度，且經過對抗式訓練的目標模型會對正常樣本的預測準確率有一定程度的下降，且因為損失函數的改變，目標模型會在訓練過程中出現不收斂的現象。

現有的公安系統中，對于人臉識別要求很嚴格，為了保證人臉識別的安全性，防攻擊的人臉識別非常重要。

發明內容

鑒于上述，本發明的目的是提供一種面向成員推理攻擊的基于特征增強的深度模型隱私保護方法和裝置，提升對樣本數據的分辨能力，以將存在嚴重的安全和隱私方面的風險的非正常樣本分辨出來。

第一方面，實施例提供的一種面向成員推理攻擊的基于特征增強的深度模型隱私保護方法，包括以下步驟：

在用于人臉識別的原始目標模型中增加用于增強特征的特征增強單元，組成增強目標模型，利用圖像樣本優化增強目標模型的模型參數；

構建用于模擬目標模型的陰影模型，利用圖樣樣本優化陰影模型的模型參數，依據參數優化的陰影模型的輸出置信度重新定義型標簽，依據新標簽和輸出置信度構建新圖像樣本；

構建用于判別圖像是否為目標模型成員樣本的攻擊模型，利用新圖像樣本優化攻擊模型的模型參數；

利用參數優化的增強目標模型獲得輸入測試圖像的預測置信度，并將預測置信度輸入至參數優化的攻擊模型，經計算獲得攻擊模型的預測結果，依據預測結果判斷測試圖像是否為原始目標模型的訓練樣本。