[發明專利]一種深度神經網絡對抗攻擊的檢測方法及裝置

有效

• 申請號: 201911029288.4
• 申請日: 2019-10-28
• 公開（公告）號: CN110796237B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李平;張全;季純;馬東陽;徐理剛;徐偉
• 申請（專利權）人: 寧夏吉虎科技有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/08;G06F18/214
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種深度神經網絡對抗攻擊的檢測方法，其特征在于，所述方法包括：

向原始模型中輸入正常訓練樣本對所述原始模型進行訓練，根據訓練結果獲取觸發參數不變量VI；

從所述原始模型中提取多層神經元層作為子模型，向所述子模型中添加歸一化指數層，得到派生模型；

向所述派生模型輸入正常訓練樣本對所述派生模型進行訓練，根據訓練結果獲取初始關聯不變量PI；

向所述原始模型中輸入檢測樣本對所述原始模型進行訓練，根據訓練結果獲取觀測觸發參數OV；

向所述派生模型中輸入檢測樣本對所述派生模型進行訓練，根據訓練結果獲取觀測初始關聯參數OP；

計算所述觀測觸發參數OV屬于相應所述觸發參數不變量VI的觸發參數概率DVi，并計算所述觸發參數概率DVi的平均值DV；

計算所述觀測初始關聯參數OP符合相應所述初始關聯不變量PI分布的關聯參數概率DPi，并計算所述關聯參數概率Dpi的平均值DP；

當VI/PI屬于正態分布時，如果DV/DP小于第一閾值，則判斷所述檢測樣本為對抗攻擊樣本；

當VI/PI屬于均勻分布時，如果DV/DP小于第二閾值，則判斷所述檢測樣本為對抗攻擊樣本。

2.如權利要求1所述的方法，其特征在于，向原始模型中輸入正常訓練樣本對所述原始模型進行訓練，根據訓練結果獲取觸發參數不變量VI包括：

向原始模型中輸入正常訓練樣本，以使正常樣本在所述原始模型的每一層神經元層中觸發參數并訓練；

從訓練后的所述原始模型中獲取每一層神經元層的觸發分布作為所述觸發參數不變量。

3.如權利要求1所述的方法，其特征在于，從所述原始模型中提取多層神經元層作為子模型，向所述子模型中添加歸一化指數層，得到派生模型，包括：

從所述原始模型中提取1至L層的神經元層作為子模型，向所述子模型中添加歸一化指數層，得到派生模型。

4.如權利要求1所述的方法，其特征在于，所述歸一化指數層和所述原始模型具有相同的輸出標簽。

5.如權利要求1所述的方法，其特征在于，所述從所述原始模型中提取多層神經元層作為子模型，向所述子模型中添加歸一化指數層，得到派生模型，還包括：凍結子模型的觸發參數。

6.如權利要求1所述的方法，其特征在于，向所述派生模型輸入正常訓練樣本對所述派生模型進行訓練，根據訓練結果獲取初始關聯不變量PI，包括：

向所述派生模型輸入正常訓練樣本對所述派生模型進行訓練，得到訓練后的派生模型；

從訓練后的派生模型獲取每一對連續的神經元層之間的分類結果分布，將所述分類結果分布作為初始關聯不變量。

7.如權利要求1所述的方法，其特征在于，所述第一閾值為0.3，所述第二閾值為0.5。

8.一種深度神經網絡對抗攻擊的檢測裝置，其特征在于，所述裝置包括：

觸發參數不變量獲取模塊，用于向原始模型中輸入正常訓練樣本對所述原始模型進行訓練，根據訓練結果獲取觸發參數不變量VI；

派生模型創建模塊，用于從所述原始模型中提取多層神經元層作為子模型，向所述子模型中添加歸一化指數層，得到派生模型；

初始關聯不變量獲取模塊，用于向所述派生模型輸入正常訓練樣本對所述派生模型進行訓練，根據訓練結果獲取初始關聯不變量PI；

觀測觸發參數獲取模塊，用于向所述原始模型中輸入檢測樣本對所述原始模型進行訓練，根據訓練結果獲取觀測觸發參數OV；

觀測初始關聯參數獲取模塊，用于向所述派生模型中輸入檢測樣本對所述派生模型進行訓練，根據訓練結果獲取觀測初始關聯參數OP；

觸發參數概率計算模塊，用于計算所述觀測觸發參數OV屬于相應所述觸發參數不變量VI的觸發參數概率DVi，并計算所述觸發參數概率DVi的平均值DV；

關聯參數概率計算模塊，用于計算所述觀測初始關聯參數OP符合相應所述初始關聯不變量PI分布的關聯參數概率DPi，并計算所述關聯參數概率Dpi的平均值DP；

樣本判斷模塊，用于當VI/PI屬于正態分布時，如果DV/DP小于第一閾值，則判斷所述檢測樣本為對抗攻擊樣本；

當VI/PI屬于均勻分布時，如果DV/DP小于第二閾值，則判斷所述檢測樣本為對抗攻擊樣本。