[發明專利]一種基于攻擊成本的對抗樣本檢測方法

在審

• 申請號: 202011285900.7
• 申請日: 2020-11-17
• 公開（公告）號: CN112381152A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 宋富;趙哲;陳光科
• 申請（專利權）人: 上海科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06F21/55
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 徐俊

本發明涉及一種基于攻擊成本的對抗樣本檢測方法，其特征在于，包括以下步驟：利用已有的正常樣本和對抗樣本數據集，計算出正常樣本和對抗樣本的攻擊成本分布；使用正常樣本和對抗樣本的攻擊成本，有監督的構造分類器；或僅使用正常樣本指標，構造異常值檢測器；對于新輸入的樣本，計算出其攻擊成本，利用分類器或異常值檢測器判斷新輸入樣本是否為正常樣本或對抗樣本。

技術領域

本發明涉及一種基于攻擊成本的對抗樣本檢測方法。

背景技術

目前基于神經網絡的人工智能技術被廣泛應用在人機交互、醫療診斷、自動駕駛等各個領域，其受攻擊的可能性以及是否具備較強的魯棒性備受業界關注，在安全攸關的場景中使用人工智能，需要確保人工智能系統在面對由環境變化、人為攻擊等因素產生的安全挑戰時，可以有著穩定的、可靠的輸出結果。如果人工智能系統被入侵或者產生了錯誤的判斷，引發的連鎖反應會造成嚴重后果。人工智能面臨的安全挑戰以及對應的安全性研究是人工智能技術落地的重要一環。

對抗樣本(Adversarial examples)作為一種針對人工智能系統設計的特定攻擊，近年來得到了飛速的發展。對抗樣本是指，通過在正常樣本上添加人類難以察覺的擾動，導致圖片在可以被人類正確分類的情況下，讓神經網絡產生誤判。對抗樣本生成技術中，最簡單且常見的方法被稱為快速符號梯度攻擊(Fast gradient sign method)，該方法利用了神經網絡訓練過程中依賴的關鍵信息——梯度，通過獲得輸入樣本的梯度信息并沿著梯度方向對輸入樣本進行擾動，可以獲得十分微小且有效的噪聲，進而得到讓神經網絡誤判的對抗樣本。

為了阻止此類攻擊，許多防御方法被提出，其中主要的思想為梯度混淆，這類方法通過對神經網絡結構或者預處理方法進行變換，使得攻擊者無法直接獲得梯度。這種方法在攻擊者完全對防御不知情時，有較好的效果，但攻擊者一旦知曉了防御手段，很容易繞過防御混淆。因此目前對抗樣本的防御依然是一個亟待解決的問題。

發明內容

本發明的目的是：通過利用正常樣本和對抗樣本之間攻擊成本的差異引申出相應一系列的檢測方法，使得防御者可對輸入進行分類，檢測出其中的對抗樣本。

為了達到上述目的，本發明的技術方案是提供了一種基于攻擊成本的對抗樣本檢測方法，其特征在于，利用正常樣本和對抗樣本的攻擊成本差異檢測出對抗樣本，包括以下步驟：

步驟1：利用已有的正常樣本數據集和對抗樣本數據集，計算出正常樣本和對抗樣本的攻擊成本分布，其中，正常樣本為可以被神經網絡正確分類的樣本；

步驟2：使用步驟1中獲得的正常樣本的攻擊成本分布和對抗樣本的攻擊成本，有監督的構造分類器；

或者僅使用步驟1中獲得的正常樣本的攻擊成本分布，構造異常值檢測器；

步驟3：計算得到新輸入的樣本的攻擊成本，基于得到的攻擊成本利用步驟 2獲得的分類器或異常值檢測器判斷新輸入的樣本是否為正常樣本或對抗樣本。

優選地，所述攻擊成本為輸入攻擊成功所需要的攻擊時間或者輸入攻擊成功所需要的迭代次數。

優選地，構造分類器時，使用多種攻擊成本構造多種分類器或多維分類器，結合多種分類器的所有分類結論或基于多維分類器得出的分類結論對新輸入的樣本是否為正常樣本或對抗樣本進行判斷。

優選地，通過提升模型魯棒性的方式，擴大正常樣本和對抗樣本的攻擊成本差異，進而提升檢測準確率。

正常樣本和對抗樣本之間攻擊成本的差異是輸入樣本的固有屬性，不可導且易于計算。通過對上述特征的利用，使得本發明提供的方法具有較好的準確率和檢測效率，并具有較強的可解釋性和可擴展性。