[發明專利]對抗攻擊的檢測方法、系統、設備、計算機可讀存儲介質

在審

• 申請號: 202011094465.X
• 申請日: 2020-10-14
• 公開（公告）號: CN112163670A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 李照冬;冷靜文;邱宇賢;過敏意;朱禺皓;陳全;李超
• 申請（專利權）人: 上海交通大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62;G06N5/04
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 張燕

1.一種對抗攻擊的檢測方法，其特征在于，應用于神經網絡；所述對抗攻擊的檢測方法包括：

接收訓練數據，并提取與訓練數據對應的激活路徑；

將若干激活路徑進行整合，以形成整個類別的訓練數據對應的類別路徑；

接收待檢測數據，并提取與所述待檢測數據對應的激活路徑；

計算所述類別路徑與所述待檢測數據對應的激活路徑之間的相似度；

根據所述相似度，判斷所述待檢測數據是否為對抗樣本。

2.根據權利要求1所述的對抗攻擊的檢測方法，其特征在于，所述提取與訓練數據對應的激活路徑的步驟包括：

根據與訓練數據對應的神經網絡中最后一層的重要神經元，逐層反向提取每一層的重要神經元，以獲取所述神經網絡中針對一類別標簽的所有重要神經元；

通過每一層中確定的重要神經元形成若干所述激活路徑。

3.根據權利要求2所述的對抗攻擊的檢測方法，其特征在于，提取每一層的重要神經元的方式包括前向提取、閾值機制及選擇性提取中的一種或任意組合方式。

4.根據權利要求2所述的對抗攻擊的檢測方法，其特征在于，所述將若干激活路徑進行整合，以形成整個類別的樣本對應的類別路徑的步驟包括：

將屬于同一類別的訓練數據所對應的激活路徑通過按位取或操作計算出整個類別對應的類別路徑。

5.根據權利要求2所述的對抗攻擊的檢測方法，其特征在于，所述提取與所述待檢測數據對應的激活路徑的步驟包括：

根據與待檢測數據對應的神經網絡中最后一層的重要神經元，逐層反向提取每一層的重要神經元，以獲取所述神經網絡中針對一類別標簽的所有重要神經元；

通過每一層中確定的重要神經元形成與所述待檢測數據對應的激活路徑。

6.根據權利要求5所述的對抗攻擊的檢測方法，其特征在于，計算所述類別路徑與所述待檢測數據對應的激活路徑之間的相似度的計算公式如下：

S＝||P(x)Pc||₁/||P(x)||₁

其中，S表示類別路徑與待檢測數據對應的激活路徑；P(x)表示與待檢測數據對應的激活路徑；||P(x)||₁表示與待檢測數據對應的激活路徑中1的個數；表示按位取或操作；Pc表示整個類別的訓練數據對應的類別路徑，c為類別。

7.根據權利要求1或6所述的對抗攻擊的檢測方法，其特征在于，所述根據所述相似度，判斷所述待檢測數據是否為對抗樣本的步驟包括：

通過預存分類器將所述類別路徑與所述待檢測數據對應的激活路徑之間的相似度進行分類，以判斷所述待檢測數據是否為對抗樣本。

8.一種對抗攻擊的檢測系統，其特征在于，應用于神經網絡；所述對抗攻擊的檢測系統包括：

數據接收模塊，用于接收訓練數據和待檢測數據；

第一提取模塊，用于提取與訓練數據對應的激活路徑；

整合模塊，用于將若干激活路徑進行整合，以形成整個類別的訓練數據對應的類別路徑；

第二提取模塊，用于提取與所述待檢測數據對應的激活路徑；

處理模塊，用于計算所述類別路徑與所述待檢測數據對應的激活路徑之間的相似度；根據所述相似度，判斷所述待檢測數據是否為對抗樣本。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1至7中任一項所述對抗攻擊的檢測方法。

10.一種檢測設備，其特征在于，包括：處理器及存儲器；

所述存儲器用于存儲計算機程序，所述處理器用于執行所述存儲器存儲的計算機程序，以使所述檢測設備執行如權利要求1至7中任一項所述對抗攻擊的檢測方法。

11.根據權利要求11所述的檢測設備，其特征在于，所述處理器包括神經網絡加速器、路徑構造器及控制器。