[發明專利]對抗攻擊的檢測方法、系統、設備、計算機可讀存儲介質

在審

• 申請號: 202011094465.X
• 申請日: 2020-10-14
• 公開（公告）號: CN112163670A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 李照冬;冷靜文;邱宇賢;過敏意;朱禺皓;陳全;李超
• 申請（專利權）人: 上海交通大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62;G06N5/04
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 張燕

本發明提供一種對抗攻擊的檢測方法、系統、設備、計算機可讀存儲介質，所述對抗攻擊的檢測方法包括：接收訓練數據，并提取與訓練數據對應的激活路徑；將若干激活路徑進行整合，以形成整個類別的訓練數據對應的類別路徑；接收待檢測數據，并提取與所述待檢測數據對應的激活路徑；計算所述類別路徑與所述待檢測數據對應的激活路徑之間的相似度；根據所述相似度，判斷所述待檢測數據是否為對抗樣本。本發明能夠在神經網絡的推理過程中實現在線對抗攻擊的檢測，從而檢測出神經網絡模型的異常；且本實施例所述檢測方法可以達到較高的檢測準確率以及較低的開銷，為深度學習系統的魯棒性提供了支持。

技術領域

本發明屬于神經網絡技術領域，涉及一種檢測方法、系統、設備，特別是涉及一種對抗攻擊的檢測方法、系統、設備、計算機可讀存儲介質。

背景技術

近年來，以深度學習為代表的新一代人工智能算法，在圖像處理、語音識別、機器翻譯等諸多領域取得一系列重要突破，極大地提高了當前人工智能算法的性能。然而，這類模型通常魯棒性不足，很容易受到對抗攻擊的影響，一個精心設計的對抗樣本可能會使原本正常的模型產生錯誤的結果；對抗攻擊對深度學習系統的可靠性、隱私性產生了較大的危害，如何提高模型的魯棒性，是當前以及未來人工智能領域的研究熱點和難點。

以下簡單介紹一下現有技術：

現有技術一：對抗訓練(adversarial training)是增強神經網絡魯棒性的重要方式。在對抗訓練的過程中，樣本會被混合一些微小的擾動，通過訓練使得神經網絡適應這種擾動，從而增強了神經網絡對于對抗樣本的魯棒性。

現有技術一的缺陷：現這種通過訓練來防御對抗攻擊的方式不適合在推理過程中在線檢測對抗攻擊，并且構建訓練數據和進行訓練也需要較大的工作量。

現有技術二：通過構建多模塊冗余系統。

現有技術二的缺陷：開銷過大，使得無法實現在推理過程中在線檢測對抗攻擊。

所以，當前已有的對抗攻擊檢測方法存在諸多問題：一方面，這些檢測方法無法實現在神經網絡推理過程中在線進行對抗攻擊檢測；另一方面，這些檢測方法也會帶來很大的額外開銷。對抗攻擊會嚴重危害神經網絡系統的可靠性、隱私性。在諸如自動駕駛等任務關鍵型場景下，實現在線的對抗攻擊檢測尤為重要。

因此，如何提供一種對抗攻擊的檢測方法、系統、設備、計算機可讀存儲介質，以解決現有技術無法實現在神經網絡推理過程中在線進行對抗攻擊檢測，且會帶來額外開銷，導致神經網絡系統的可靠性、隱私性受到嚴重危害等缺陷，實已成為本領域技術人員亟待解決的技術問題。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種對抗攻擊的檢測方法、系統、設備、計算機可讀存儲介質，用于解決現有技術無法實現在神經網絡推理過程中在線進行對抗攻擊檢測，且會帶來額外開銷，導致神經網絡系統的可靠性、隱私性受到嚴重危害的問題。

為實現上述目的及其他相關目的，本發明一方面提供一種對抗攻擊的檢測方法，應用于神經網絡；所述對抗攻擊的檢測方法包括：接收訓練數據，并提取與訓練數據對應的激活路徑；將若干激活路徑進行整合，以形成整個類別的訓練數據對應的類別路徑；接收待檢測數據，并提取與所述待檢測數據對應的激活路徑；計算所述類別路徑與所述待檢測數據對應的激活路徑之間的相似度；根據所述相似度，判斷所述待檢測數據是否為對抗樣本。

于本發明的一實施例中，所述提取與訓練數據對應的激活路徑的步驟包括：根據與訓練數據對應的神經網絡中最后一層的重要神經元，逐層反向提取每一層的重要神經元，以獲取所述神經網絡中針對一類別標簽的所有重要神經元；通過每一層中確定的重要神經元形成若干所述激活路徑。

于本發明的一實施例中，提取每一層的重要神經元的方式包括前向提取、閾值機制及選擇性提取中的一種或任意組合方式。