[發明專利]一種可解釋區域引導的對抗樣本檢測方法

有效

• 申請號: 202010858301.3
• 申請日: 2020-08-24
• 公開（公告）號: CN112836716B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 范銘;魏佳利;劉烴;徐茜;賈昂;魏聞英
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06K9/62;G06T7/11;G06T7/136;G06N3/04;G06N3/06;G06N3/08;G06V10/82
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

本發明公開了一種可解釋區域引導的對抗樣本檢測方法，采用了深度學習模型的可解釋方法引導特征壓縮：首先應用可解釋方法，得到輸入樣本的可解釋結果，并分割出可解釋區域和非可解釋區域；然后對輸入樣本非可解釋區域對應的圖像部分進行特征壓縮，并得到特征壓縮前后的模型預測變化，最終根據正常樣本和對抗樣本在預測變化上的不同實現對對抗樣本的檢測。通過以上方法，提高了檢測的性能，減少誤報率與漏報率。為深度學習模型的對抗樣本檢測防御提供了一種新的防御方法。

技術領域

本發明屬于智能系統安全和深度學習模型可解釋性領域，特別涉及一種可解釋區域引導的對抗樣本檢測方法。

背景技術

隨著深度神經網絡、人工智能的快速發展，深度學習算法越來越多地應用于各個領域，比如圖像分類、圖像識別、物體檢測，并且有著非常顯著的優勢，但在某些方面也有著明顯的不足。首先就是我們無法解釋深度神經網絡模型的決策過程，目前有很多關于深度神經網絡模型可解釋性的研究，可以將圖像中對模型決策起重要作用的區域高亮出來。此外，對抗樣本也是深度神經網絡的進一步應用所必須要解決的關鍵問題。所謂對抗樣本，在圖像識別領域，是指對圖像樣本加入“精心設計”的細微擾動，人眼基本看不出有任何變化，但是深度神經網絡模型卻分類錯誤的這些樣本。因此當在一些與安全密切相關的領域，比如醫學診斷領域，自動駕駛領域和惡意軟件檢測等領域應用深度神經網絡模型時，我們必須檢測和防御對抗樣本。

目前，關于對抗樣本的防御技術，主要可以分為三大類：對抗訓練、梯度掩蔽和輸入轉換。

對抗訓練是指首先產生對抗樣本，再將對抗樣本和其對應的正常標簽引入到訓練中，進行重新訓練。那么在一定程度上，重新訓練后的模型，就對用于訓練的對抗樣本以及與之相似的對抗樣本產生魯棒性。但是，當對抗樣本與用于訓練的對抗樣本有一定差距時，仍會攻擊成功。

“梯度掩蔽”防御試圖降低DNN模型對輸入微小變化的敏感性。但是對于這種防御方法，研究表明，由于對抗樣本的可轉移性，防御成功的概率有限。

輸入轉換是指不改變原始的DNN模型，而是在進行預測之前，對模型的輸入進行變換，代表性的方法就是特征壓縮。但是特征壓縮方法沒有考慮可解釋結果，直接對整個輸入圖像進行特征壓縮，可能會使正常樣本的可解釋區域受到太大擾動，造成正常樣本被誤分類為對抗樣本。

發明內容

本發明的內容在于提出一種可解釋區域引導的對抗樣本檢測方法，以克服特征壓縮方法在檢測對抗樣本中的不足。本方法采用了深度學習模型的可解釋方法引導特征壓縮：首先應用可解釋方法，得到輸入樣本的可解釋結果，并分割出可解釋區域和非可解釋區域；然后對輸入樣本非可解釋區域對應的圖像部分進行特征壓縮，并得到特征壓縮前后的模型預測變化，最終根據正常樣本和對抗樣本在預測變化上的不同實現對對抗樣本的檢測。通過以上方法，提高了檢測的性能，減少誤報率與漏報率。為深度學習模型的對抗樣本檢測防御提供了一種新的防御方法。

為了達到上述目的，本發明采用以下技術方案予以實現，包括以下步驟：

1)、得到輸入樣本的可解釋結果，并分割出可解釋區域和非可解釋區域：

步驟S1：通過分析樣本數據集，得到相應的訓練集和測試集，構建卷積神經網絡模型，并進行訓練和測試，得到具有良好分類性能的卷積神經網絡模型；

步驟S2：通過分析卷積神經網絡模型的結構，應用可解釋方法，得到輸入樣本對應的可解釋結果；

步驟S3：基于圖像分割思想，首先對得到的可解釋結果生成分割閾值，再根據閾值將其分割成為相應的可解釋區域和非可解釋區域；

2)、對輸入樣本非可解釋區域對應的圖像部分進行特征壓縮，并得到特征壓縮前后的模型預測變化，最終根據正常樣本和對抗樣本在預測變化上的不同實現對對抗樣本的檢測：