[發明專利]深度網絡防御能力的預測方法及裝置

有效

• 申請號: 201910584728.6
• 申請日: 2019-07-01
• 公開（公告）號: CN110390354B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 徐小天;孫躍;高冉馨;李敏
• 申請（專利權）人: 華北電力科學研究院有限責任公司;國家電網有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;任默聞

本申請提供一種深度網絡防御能力的預測方法及裝置，方法包括：確定深度網絡輸出的攻擊向量的分類與目標分類的交叉熵；根據深度網絡輸出的分類與目標分類的距離確定該深度網絡對應的損失函數；基于損失函數并采用梯度下降法對攻擊向量進行訓練，得到損失函數的損失函數值以及訓練后的攻擊向量；計算訓練后的攻擊向量和訓練之前的攻擊向量之間差值的平滑度，并基于該平滑度與損失函數值之間的乘積得到深度網絡的評價指標，以根據該評價指標對深度網絡的防御能力進行預測，本申請能夠確定目標深度網絡對特定攻擊方式的防御能力，進而能夠有效提高應用該深度網絡的人工智能產品和服務的安全性及應用可靠性。

技術領域

本發明涉及深度學習技術領域，具體涉及一種深度網絡防御能力的預測方法及裝置。

背景技術

近年來，深度學習算法得到了長足的發展，各類基于深度學習的人工智能產品和服務也隨之廣泛應用。大量的深度學習產品使用經典算法進行網絡訓練，部分產品甚至在網絡訓練過程中使用了公開的樣本庫。在這種情況下，惡意攻擊者可以利用公開的深度學習算法和樣本，構造結構和參數近似的深度網絡(Deep Network)，以對該部分產品中的算法發起白盒攻擊，尋找擾動樣本使上述的部分產品中的深度網絡輸出意外值，從而實現攻擊目的。

在這樣的攻擊中，攻擊者可以通過訓練構造出用于攻擊的樣本，攻擊者可能構造多種不同的攻擊樣本對深度網絡進行有目標類型/無目標類型的攻擊。目前是把攻擊者在有限計算條件下能夠對給定深度網絡構造出的較優樣本對人和機器的欺騙性進行比較，作為評價深度網絡防御能力的指標。該方式確定的指標無法準確評價深度網絡的防御能力。

因此，亟需一種能夠準確評價深度網絡的防御能力的指標。

發明內容

針對現有技術中的問題，本發明提供一種深度網絡防御能力的預測方法及裝置，能夠準確預測深度網絡面對白盒攻擊的防御能力，進而能夠有效提高應用該深度網絡的人工智能產品和服務的安全性及應用可靠性。

為解決上述技術問題，本發明提供以下技術方案：

第一方面，本發明提供一種深度網絡防御能力的預測方法，包括：

確定深度網絡輸出的攻擊向量的分類與目標分類的交叉熵；其中，所述深度網絡模型用于對輸入的向量進行分類；

根據深度網絡輸出的分類與目標分類的距離確定該深度網絡對應的損失函數；

基于所述損失函數并采用梯度下降法對所述攻擊向量進行訓練，得到所述損失函數的損失函數值以及訓練后的攻擊向量；

計算訓練后的攻擊向量和訓練之前的攻擊向量之間差值的平滑度，并基于該平滑度與所述損失函數值之間的乘積得到所述深度網絡的評價指標，以根據該評價指標對所述深度網絡的防御能力進行預測。

進一步的，所述確定深度網絡輸出的攻擊向量的分類與目標分類的交叉熵，包括：

確定深度網絡輸出的攻擊向量的分類與正確分類的第一交叉熵以及確定深度網絡輸出的攻擊向量的分類與指定分類的第二交叉熵；

其中，正確分類是訓練生成攻擊向量的訓練向量所對應的分類，指定分類是預設的攻擊向量對應的分類。

進一步的，所述根據深度網絡輸出的分類與目標分類的距離確定該深度網絡對應的損失函數，包括：

確定所述第二交叉熵與所述第一交叉熵的差值為該深度網絡對應的損失函數。

進一步的，在基于所述損失函數并采用梯度下降法對所述攻擊向量進行訓練時，若梯度下降循環中的攻擊向量與訓練之前的攻擊向量之間差值的各個分量中最大模值大于預設值，則采用與所述梯度下降循環中的攻擊向量歐式距離最小的攻擊向量代替該所述梯度下降循環中的攻擊向量，繼續進行梯度下降；