[發明專利]一種深度神經網絡對抗攻擊的檢測方法及裝置

有效

• 申請號: 201911029288.4
• 申請日: 2019-10-28
• 公開（公告）號: CN110796237B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李平;張全;季純;馬東陽;徐理剛;徐偉
• 申請（專利權）人: 寧夏吉虎科技有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/08;G06F18/214
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

本申請實施例提供了一種深度神經網絡對抗攻擊的檢測方法及裝置，方法包括向原始模型中輸入正常訓練樣本獲取觸發參數不變量；創建派生模型；向派生模型輸入正常訓練樣本獲取初始關聯不變量；向原始模型中輸入檢測樣本獲取觀測觸發參數；向派生模型中輸入檢測樣本獲取觀測初始關聯參數；根據以上得到的參數和不變量判斷檢測樣本是否為對抗攻擊樣本。與現有技術相比本申請基于觸發參數不變量和初始關聯不變量來判斷觀測觸發參數和初始關聯參數與前述兩個不變量的大小關系，從而能夠準確地檢測出對抗攻擊樣本，實現對特定固定及方法的有效防御和檢測，同時本申請的對抗攻擊檢測方法具備普遍性，能夠抵御廣泛多樣的攻擊形式。

技術領域

本公開涉及機器學習技術領域，尤其涉及一種深度神經網絡對抗攻擊的檢測方法和裝置。

背景技術

目前深度神經網絡算法(DNN)在各個領域的貢獻都很引人注目，成功的將傳統神經網絡的識別率提高了一個顯著的檔次。深度神經網絡算法(DNN)雖然精確度越來越高，但是深度神經網絡(DNN)很容易受到對抗攻擊，從而導致DNN模型出現誤分類等異常行為。例如，在精度達到人類水平的神經網絡上通過優化過程故意構造數據點，這種對抗攻擊方法的誤差率接近100％。在許多情況下，對抗樣本與原始樣本非常近似，人類觀察者不會察覺原始樣本和對抗樣本之間的差異，但是網絡會作出非常不同的預測。現有的防御和檢測技術基于特定假設，雖然能夠實現對某種特定攻擊方法的有效防御和檢測，但往往不具備普遍性，無法抵御廣泛多樣的攻擊形式。

發明內容

本申請提供一種深度神經網絡對抗攻擊的檢測方法及裝置為解決現有的防御和檢測技術基于特定假設，雖然能夠實現對某種特定攻擊方法的有效防御和檢測，但往往不具備普遍性，無法抵御廣泛多樣的攻擊形式的問題。

本申請的第一方面，提供一種深度神經網絡對抗攻擊的檢測方法，所述方法包括：向原始模型中輸入正常訓練樣本對所述原始模型進行訓練，根據訓練結果獲取觸發參數不變量VI；從所述原始模型中提取多層神經元層作為子模型，向所述子模型中添加歸一化指數層，得到派生模型；向所述派生模型輸入正常訓練樣本對所述派生模型進行訓練，根據訓練結果獲取初始關聯不變量PI；向所述原始模型中輸入檢測樣本對所述原始模型進行訓練，根據訓練結果獲取觀測觸發參數OV；向所述派生模型中輸入檢測樣本對所述派生模型進行訓練，根據訓練結果獲取觀測初始關聯參數OP；計算所述觀測觸發參數OV屬于相應所述觸發參數不變量VI的觸發參數概率DVi，并計算所述觸發參數概率DVi的平均值DV；計算所述觀測初始關聯參數OP符合相應所述初始關聯不變量PI分布的關聯參數概率DPi，并計算所述關聯參數概率Dpi的平均值DP；當VI/PI屬于正態分布時，如果DV/DP小于第一閾值，則判斷所述檢測樣本為對抗攻擊樣本；當VI/PI屬于均勻分布時，如果DV/DP小于第二閾值，則判斷所述檢測樣本為對抗攻擊樣本。

結合第一方面，在第一種可能的實現方式中，向原始模型中輸入正常訓練樣本對所述原始模型進行訓練，根據訓練結果獲取觸發參數不變量VI包括：向原始模型中輸入正常訓練樣本，以使正常樣本在所述原始模型的每一層神經元層中觸發參數并訓練；從訓練后的所述原始模型中獲取每一層神經元層的觸發分布作為所述觸發參數不變量。

結合第一方面，在第二種可能的實現方式中，從所述原始模型中提取多層神經元層作為子模型，向所述子模型中添加歸一化指數層，得到派生模型，包括：從所述原始模型中提取1至L層的神經元層作為子模型，向所述子模型中添加歸一化指數層，得到派生模型。

結合第一方面，在第三種可能的實現方式中，所述歸一化指數層和所述原始模型具有相同的輸出標簽。

結合第一方面，在第四種可能的實現方式中，所述從所述原始模型中提取多層神經元層作為子模型，向所述子模型中添加歸一化指數層，得到派生模型，還包括：凍結子模型的觸發參數。