[發明專利]一種基于生成式對抗網絡的深度差分隱私保護方法

在審

• 申請號: 201710611972.8
• 申請日: 2017-07-25
• 公開（公告）號: CN107368752A
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 毛典輝;李子沁;蔡強;李海生;曹健
• 申請（專利權）人: 北京工商大學
• 主分類號: G06F21/62
• 分類號: G06F21/62
• 代理公司: 北京科迪生專利代理有限責任公司11251
• 代理人: 安麗

1.一種基于生成式對抗網絡反饋的深度差分隱私保護方法，其特征在于包括以下步驟：

(1)依據輸入訓練數據集的潛在數據集規模，查詢敏感度、攻擊者最大攻擊概率計算隱私預算的上界；

(2)依據深度差分隱私模型訓練輸入數據集，具體過程為：在深度網絡參數優化計算中融合差分隱私思想添加噪聲數據，根據步驟(1)設置隱私預算上界，在此條件下隨機選取隱私預算，然后基于差分隱私與高斯分布組合特點，在隨機梯度下降中計算深度網絡每一層的實際隱私預算，并據此添加高斯噪聲使總體隱私預算最小；

(3)利用步驟(2)中深度差分隱私模型進行深度網絡模型訓練，并提取訓練過程中隱私保護后生成數據的數據特征信息；將隨機噪聲數據輸入到生成式對抗網絡中，以隱私保護后生成數據特征信息為參考，調節輸入的隨機噪聲數據使生成器生成的模擬數據盡可能近似隱私保護后生成數據特征分布，并對生成的模擬數據進行分類得到分類準確率；

(4)將原始數據集輸入到生成式對抗網絡中，生成近似隱私保護前數據特征分布的模擬數據，與步驟(3)中得到的隱私保護后生成數據進行分類準確率對比，設置準確率誤差閾值，確保步驟(3)分類準確率對與步驟(4)的分類準確率的差值在預先設定閾值范圍內，否則重復步驟(2)調整隱私預算參數，重新訓練深度差分隱私模型直至滿足預先設定閾值條件為止。

2.根據權利要求1所述的基于生成式對抗網絡反饋的深度差分隱私保護方法，其特征在于：所述步驟1中，計算隱私預算的上界的方式如下：

其中ε為隱私預算，n為輸入數據集的潛在數據集規模，潛在數據集規模是指，假設輸入數據集為D，該數據集的近鄰數據集D'可能的取值方法為n，其中D與D'僅相差一條數據；Δq為針對數據集D和D'的查詢函數q的敏感度，Δv為查詢函數q在相鄰數據集上最大差異值，ρ為攻擊者得出攻擊對象在或者不在結果集中的概率。

3.根據權利要求1所述的基于生成式對抗網絡反饋的深度差分隱私保護方法，其特征在于：在步驟(2)中，計算深度網絡每一層的隱私預算，在隨機梯度下降計算中添加高斯噪音使深度差分隱私模型中總體隱私預算最小，根據差分隱私與高斯分布組合特點，總體隱私預算值由深度網絡每層預算值累加而成，深度網絡每層噪聲添加方式如下：

其中x_i為輸入值，σ為噪聲規模，C為梯度閾值，為根據梯度閾值剪枝后的梯度值，S為訓練batch數據的大小，N(0,σ²C²)為均值是0、方差是σC的高斯分布的噪聲。

4.根據權利要求1所述的基于生成式對抗網絡反饋的深度差分隱私保護方法，其特征在于：在步驟(3)和步驟(4)中，所述生成式對抗網絡由生成器G和判別器D構成，在整個訓練過程中G和D為“博弈”雙方，生成器G捕捉樣本數據的分布，判別器D是一個二分類器，用于判斷輸入的結果是來自于訓練數據的概率；G和D均為非線性映射函數，是多層感知機或卷積神經網絡；在訓練過程中，生成器G的目標是盡量生成與原始數據接近的結果去欺騙判別器D；而D的目標是盡量把G生成的結果和真實數據區分開來，G和D形成了一個動態的“博弈過程”，G和D之間的關系定義為：

GAN的優化問題是一個極小-極大化問題,GAN的目標函數為其中x為真實數據，z為隨機變量，p_data(x)真實數據服從的分布，p_z(z)為隨機變量服從的分布，G(z)則為由G生成的盡可能服從真實數據分布p_data(x)的樣本，E(·)表示計算期望值。

5.根據權利要求1所述的基于生成式對抗網絡反饋的深度差分隱私保護方法，其特征在于：在步驟(4)中，利用生成式對抗網絡中生成器生成攻擊者可能得到的最優結果，并從中選出最接近真實數據集的攻擊結果，通過比較隱私保護后生成數據分類準確率和隱私保護前生成數據分類準確率，若相似度超過設定閾值，則重新對深度差分隱私模型進行參數調優，直到滿足條件為止。