[發明專利]一種不可察覺的對抗補丁生成方法及應用

在審

• 申請號: 202011246415.9
• 申請日: 2020-11-10
• 公開（公告）號: CN112364915A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 錢亞冠;王佳敏;王濱;陶祥興;周武杰;云本勝
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

1.一種基于網絡可解釋性的生成人眼難以察覺的對抗補丁的方法，其特征在于，所述基于網絡可解釋性的生成人眼難以察覺的對抗補丁的方法包括：

通過Grad-CAM計算圖像中對CNNs分類決策影響較大的區域，并將所述區域作為圖像的特征貢獻區域；

利用掩膜機制定位所述區域，在確定的特征貢獻區域完成加擾。

2.如權利要求1所述基于網絡可解釋性的生成人眼難以察覺的對抗補丁的方法，其特征在于，所述基于網絡可解釋性的生成人眼難以察覺的對抗補丁的方法具體包括：

(1)利用Grad-CAM搜索獲取的圖像的特征貢獻區域(CFRs)；

(2)通過掩膜定位圖像CFRs，與原始圖像進行Hadamard乘積后獲得擾動區域；

(3)生成對抗樣本損失函數和擾動的l₂范數作為優化的目標函數，利用隨機梯度下降算法優化計算特征貢獻區域的對抗補丁，疊加到原始圖像后得到只有局部擾動的補丁對抗樣本。

3.如權利要求2所述基于網絡可解釋性的生成人眼難以察覺的對抗補丁的方法，其特征在于，所述利用Grad-CAM搜索獲取的圖像的特征貢獻區域包括：

(1)將獲取的原始圖像X通過CNN，在最后一層卷積層輸出圖像X的高層特征表示為A，其中用A^k∈R^u×v表示高層特征A中第k個卷積核的激活輸出，卷積核的大小為u×v。A經過一個全連接層FC后，輸出每個類的得分向量Y；

(2)采用全局平均池化操作，計算第k個卷積核的權重

其中，Z＝u×v，為第k個卷積核(i,j)處的激活輸出；Y^C表示第C類的Logits值；表示Y^C對A^k的梯度；所述用于衡量第k個卷積核對第C類的分類預測重要性；

(3)結合權重對A^k進行加權求和，得到關于第C類的一個特征激活映射并對加權結果進行一次ReLU激活處理，得到第C類的激活映射：

(4)以熱力圖的形式可視化其中紅色區域即為對分類器分類到第C類的特征貢獻區域CFRs。

4.如權利要求2所述基于網絡可解釋性的生成人眼難以察覺的對抗補丁的方法，其特征在于，所述掩膜包括：

所述掩膜為一個與輸入圖像同樣大小的0-1矩陣mask_X；利用閾值機制即可得到mask_X：

其中，1表示保留像素的區域即CFRs的像素位置；0表示不保留像素的區域；t為閾值，表示輸入圖像X為第C類激活映射。

5.如權利要求2所述基于網絡可解釋性的生成人眼難以察覺的對抗補丁的方法，其特征在于，所述目標函數包括生成對抗樣本的損失函數和局部擾動δ_CFR的l₂正則化函數；

所述目標函數如下：

其中，β是一個超參數，用于控制失真的程度；T表示超參數。

6.如權利要求2所述基于網絡可解釋性的生成人眼難以察覺的對抗補丁的方法，其特征在于，所述對局部擾動進行迭代優化包括：

其中，表示1/F在δ_CFR的梯度；LR是一個超參數，表示學習率。

7.一種基于網絡可解釋性生成不可察覺的對抗補丁系統，其特征在于，所述基于網絡可解釋性生成不可察覺的對抗補丁系統包括：

(1)特征貢獻區域獲取模塊，用于利用Grad-CAM計算的圖像的特征貢獻區域；

(2)局部區域定位模塊，用于通過掩膜定位圖像的特征貢獻區域；

(3)對抗補丁獲取模塊，基于重新定義的目標函數，在局部區域利用隨機梯度下降算法進行迭代優化計算對抗補丁，并基于計算得到的補丁與獲取的圖像相加得到補丁對抗樣本。