[發明專利]可解釋性深度學習的差分隱私保護方法

有效

• 申請號: 202010011049.2
• 申請日: 2020-01-06
• 公開（公告）號: CN111242196B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 王金艷;李德;胡宇航;李先賢
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F21/62
• 代理公司: 桂林市持衡專利商標事務所有限公司 45107
• 代理人: 陳躍琳

1.可解釋性深度學習的差分隱私保護方法，其特征是，包括步驟如下：

步驟1、初始化可解釋性深度學習模型，該可解釋性深度學習模型基于前向傳播的可解釋性卷積神經網絡，并依次包括輸入層、第一卷積層、第一采樣層、第二卷積層、第二采樣層、第一全連接層、第二全連接層和輸出層；

步驟2、將給定的數據集進行歸一化處理后，作為可解釋性深度學習模型的訓練數據集；

步驟3、利用步驟2的訓練數據集對步驟1所得的可解釋性深度學習模型的第一卷積層進行訓練，以更新可解釋性深度學習模型；即：

步驟3.1、對訓練數據集進行主成分分析，得到各個主成分的特征值和特征向量；

步驟3.2、對各個主成分的特征值進行降序排序，并選出特征值排在前6位的主成分所對應的特征向量；

步驟3.3、基于所分配的第一隱私預算ε₁對步驟3.2所選出的特征向量即初始特征向量進行拉普拉斯加噪，得到滿足差分隱私的特征向量；

步驟3.4、對步驟3.3所得的滿足差分隱私的特征向量進行截斷操作，得到最終特征向量，并將最終特征向量作為可解釋性深度學習模型的第一卷積層的6個卷積核，以更新可解釋性深度學習模型；

步驟4、將步驟2的訓練數據集從步驟3所得的可解釋性深度學習模型的第一卷積層的輸入輸入，第二采樣層的輸出輸出，得到第一特征數據集；

步驟5、先采用k-means++算法對步驟4所得的第一特征數據集中的樣本數據進行聚類，得到第一帶標簽的特征數據集；再利用Mixup算法對第一帶標簽的特征數據集進行增強操作，得到第一增強數據集；

步驟6、對第一增強數據集進行最小二乘回歸計算，并將計算所得的映射系數向量作為可解釋性深度學習模型的第二采樣層與第一全連接層的連接參數，以更新可解釋性深度學習模型；

步驟7、將步驟5所得的第一增強數據集從步驟6所得的可解釋性深度學習模型的第一全連接層的輸入輸入，第一全連接層的輸出輸出，得到第二特征數據集；

步驟8、先采用k-means++算法對步驟7所得的第二特征數據集中的樣本數據進行聚類，得到第二帶標簽的特征數據集；再利用Mixup算法對第二帶標簽的特征數據集進行增強操作，得到第二增強數據集；

步驟9、對第二增強數據集進行最小二乘回歸計算，并將計算所得的映射系數向量作為可解釋性深度學習模型的第一全連接層與第二全連接層的連接參數，以更新可解釋性深度學習模型；

步驟10、基于所分配的第二隱私預算ε₂對步驟9所得的可解釋性深度學習模型的輸出層的平方誤差損失函數的展開式的系數進行拉普拉斯加噪，得到加噪后的平方誤差損失函數，并將加噪后的平方誤差損失函數作為可解釋性深度學習模型的的輸出層的平方誤差損失函數，以更新可解釋性深度學習模型；

步驟11、將步驟8所得的第二增強數據集從步驟10所得的可解釋性深度學習模型的第二全連接層的輸入輸入，第二全連接層的輸出輸出，得到第三特征數據集；

步驟12、將步驟12所得的第三特征數據集輸入到步驟10所得的加噪后的平方誤差損失函數中，通過最小化加噪后的平方誤差損失函數求得第二全連接層和輸出層的連接參數，以更新可解釋性深度學習模型；

步驟13、將當前可解釋性深度學習模型作為最終的可解釋性深度學習模型；

步驟14、將待保護的數據輸入到步驟13所得到的最終的可解釋性深度學習模型中，最終的可解釋性深度學習模型的輸出即為隱私保護后的數據。

2.根據權利要求1所述的可解釋性深度學習的差分隱私保護方法，其特征是，步驟3.3中，第j個初始特征向量的隱私預算ε_j為：

其中，ε₁為給定的第一隱私預算，λ_j為第j個初始特征向量所對應的特征值，j＝1,2,...,6。

3.根據權利要求1所述的可解釋性深度學習的差分隱私保護方法，其特征是，步驟3.3中，在進行拉普拉斯加噪時，其第j個初始特征向量的全局敏感度Δf_j為：

其中，為第j個初始特征向量的所有元素中的數值最大值，為第j個初始特征向量的所有元素中的數值最小值，||·||₁為L-1范數，j＝1,2,...,6。