[發明專利]一種對抗樣本攻擊的防御方法、裝置及電子設備

有效

• 申請號: 202010610929.1
• 申請日: 2020-06-29
• 公開（公告）號: CN111783085B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 李卓蓉;封超;吳明暉;顏暉;朱凡微;金蒼宏
• 申請（專利權）人: 浙大城市學院
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06N3/04;G06N3/094
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 應孔月

本發明公開了一種對抗樣本攻擊的防御方法、裝置及電子設備，包括：獲取原始樣本并進行預處理；根據深度神經網絡分類模型和預處理后的樣本生成對抗樣本；輸入原始樣本和對抗樣本，分別獲得原始樣本和對抗樣本基于所述深度神經網絡分類模型的表征；對原始樣本和對抗樣本的表征進行匹配；以表征匹配誤差為正則項構建目標函數，實施防御訓練；對待測樣本進行預處理；將所述預處理后的待測樣本輸入至防御訓練后的深度神經網絡分類模型中，輸出分類結果。本發明可以有效提高分類模型對對抗樣本的分類準確性，從而減小對抗樣本攻擊對分類模型造成的損失。

背景技術

隨著數據規模和計算能力的急速增長，深度學習在學術研究和商業推廣中獲得了廣泛關注和實施。然而，最新研究發現深度神經網絡容易受到對抗樣本攻擊，即，在正常樣本中添加精心設計的不明顯擾動，能夠導致原本分類精度極高的深度神經網絡徹底失效。

對抗樣本給實際應用場景帶來了巨大安全威脅，例如，在基于人臉識別的身份驗證系統中，攻擊方可利用對抗樣本非法獲得授權；在自動駕駛場景中，攻擊方可利用對抗樣本誤導系統對交通信號的識別，等等。因此，提高深度神經網絡對對抗樣本攻擊的防御能力迫在眉睫。

對抗訓練是一種常用的對抗樣本攻擊的防御方法，通過將對抗樣本添加至訓練集中以提高模型泛化性。盡管深度網絡經對抗訓練后對對抗樣本的分類準確率有所提高，但與之對正常樣本的分類準確率仍有明顯差距，降低了深度神經網絡在實際應用中的適用性和可靠性。

發明內容

本發明實施例的目的是提供一種對抗樣本攻擊的防御方法、裝置及電子設備，以解決現有深度神經網絡對對抗樣本的分類精度低的問題。

第一方面，本發明實施例提供一種對抗樣本攻擊的防御方法，包括：

獲取原始樣本并進行預處理；

根據深度神經網絡分類模型和預處理后的樣本生成對抗樣本；

輸入原始樣本和對抗樣本，分別獲得原始樣本和對抗樣本基于所述深度神經網絡分類模型的表征；

對原始樣本和對抗樣本的表征進行匹配；

以表征匹配誤差為正則項構建目標函數，實施防御訓練；

對待測樣本進行預處理；

將所述預處理后的待測樣本輸入至防御訓練后的深度神經網絡分類模型中，輸出分類結果。進一步地，獲取原始樣本并進行預處理，包括：

利用隨機信號對原始樣本進行翻轉；

對翻轉后的樣本進行縮放；

對縮放后的樣本進行裁剪；

對裁剪后的樣本進行歸一化。

進一步地，根據深度神經網絡分類模型和預處理后的樣本生成對抗樣本，包括：

通過下式，生成對抗樣本：

其中，x′表示對抗樣本，下標t+1和t分別表示第t+1次和第t次迭代，α表示步長，sign是符號函數，x表示原始樣本，S表示有效的對抗擾動幅值，表示將像素值投影至有效取值范圍的投影算子，J是交叉熵損失函數，表示深度神經網絡分類模型的交叉熵損失函數J對x′_t的每個像素點求負梯度，y表示樣本真正類別，θ表示深度神經網絡分類模型的參數。

進一步地，所述對抗樣本的初始值x′₀如下：

其中，ε表示像素值的最大擾動幅值，random(-1，1)表示和原始樣本x尺寸相同的、取值范圍在(-1,1)內的隨機向量。

進一步地，所述表征包括原始樣本和對抗樣本在所述深度神經網絡分類模型的預設層的激活特征圖。