[發(fā)明專利]一種可解釋區(qū)域引導(dǎo)的對抗樣本檢測方法

有效

• 申請?zhí)枺?/td>: 202010858301.3
• 申請日: 2020-08-24
• 公開（公告）號: CN112836716B
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計）人: 范銘;魏佳利;劉烴;徐茜;賈昂;魏聞英
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06K9/62;G06T7/11;G06T7/136;G06N3/04;G06N3/06;G06N3/08;G06V10/82
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 王艾華

1.一種可解釋區(qū)域引導(dǎo)的對抗樣本檢測方法，其特征在于，包括如下步驟：

1)、得到輸入樣本的可解釋結(jié)果，并分割出可解釋區(qū)域和非可解釋區(qū)域：

步驟S1：通過分析樣本數(shù)據(jù)集，得到相應(yīng)的訓(xùn)練集和測試集，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，并進(jìn)行訓(xùn)練和測試，得到具有良好分類性能的卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟S2：通過分析卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)，應(yīng)用可解釋方法，得到輸入樣本對應(yīng)的可解釋結(jié)果；

步驟S3：基于圖像分割思想，首先對得到的可解釋結(jié)果生成分割閾值，再根據(jù)閾值將其分割成為相應(yīng)的可解釋區(qū)域和非可解釋區(qū)域；

2)、對輸入樣本非可解釋區(qū)域?qū)?yīng)的圖像部分進(jìn)行特征壓縮，并得到特征壓縮前后的模型預(yù)測變化，最終根據(jù)正常樣本和對抗樣本在預(yù)測變化上的不同實現(xiàn)對對抗樣本的檢測：

步驟S4：對正常樣本非可解釋區(qū)域?qū)?yīng)的圖像部分進(jìn)行聯(lián)合特征壓縮，得到其壓縮前后的模型預(yù)測變化，從正常樣本的預(yù)測變化diff中選擇一個閾值∈，使得正常樣本的預(yù)測變化大于此閾值∈的比率不超過0.05；

步驟S5：對輸入樣本非可解釋區(qū)域?qū)?yīng)的圖像部分進(jìn)行聯(lián)合特征壓縮，得到其壓縮前后的模型預(yù)測變化pre-diff；

步驟S6：根據(jù)步驟S4得到的閾值∈，如果步驟S5的預(yù)測變化pre-diff大于閾值∈，判斷輸入樣本為對抗樣本；小于閾值∈，判斷輸入樣本為正常樣本，以此來實現(xiàn)對對抗樣本的檢測。

2.根據(jù)權(quán)利要求1所述的可解釋區(qū)域引導(dǎo)的對抗樣本檢測方法，其特征在于，所述步驟S1的具體方法為：

步驟S101：得到樣本數(shù)據(jù)集A，并將樣本數(shù)據(jù)集A劃分為獨立的訓(xùn)練集B和測試集D

步驟S102：通過分析樣本數(shù)據(jù)集A中的圖片大小和分類數(shù)目，構(gòu)建與其對應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟S103：通過訓(xùn)練集B進(jìn)行優(yōu)化訓(xùn)練，并通過測試集D測試訓(xùn)練好的模型；

步驟S104：如果測試的分類性能不能滿足要求，改變卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，返回步驟S103；

步驟S105：最終得到具有良好分類性能的卷積神經(jīng)網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求1所述的可解釋區(qū)域引導(dǎo)的對抗樣本檢測方法，其特征在于，所述步驟S2的具體方法為：

步驟S201：分析步驟S1訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)，得到每個卷積層的輸出表示，計算卷積神經(jīng)網(wǎng)絡(luò)倒數(shù)第二層的第k個特征映射A^k，采用全局平均池化(GlobalAverage Pooling,GAP)和線性變換得到每個類別c分?jǐn)?shù)的y^c；

步驟S202：然后計算分?jǐn)?shù)y^c相對于特征映射A^k的梯度經(jīng)過全局平均池化得到神經(jīng)元的重要性權(quán)重公式如下：

步驟S203：通過一個加權(quán)的前向激活映射組合，再經(jīng)過ReLU激活函數(shù)，得到每個類c對應(yīng)的Grad-CAM可解釋結(jié)果為：

步驟S204：通過將Grad-CAM可解釋方法得到的可解釋結(jié)果與Guided BackPropagation可解釋方法得到的可解釋結(jié)果進(jìn)行點積運算得到最終的Guided Grad-CAM可解釋結(jié)果。

4.根據(jù)權(quán)利要求1所述的可解釋區(qū)域引導(dǎo)的對抗樣本檢測方法，其特征在于，所述步驟S3的具體方法為：

步驟S301：首先對于步驟S2得到的輸入樣本可解釋結(jié)果，生成其相應(yīng)的直方圖；

步驟S302：選擇一個初始的閾值θ；

步驟S303：用θ來分割圖像，將得到兩組像素點G1和G2，其中G1中的像素點的像素值大于閾值θ，G2中的像素點的像素值小于閾值θ；

步驟S304：計算兩組像素點中像素值的均值，G1中的像素值均值用mean1表示；G2中的像素值均值用mean2表示；

步驟S305：計算新的閾值θ＝(1/2)(mean1+mean2)；

步驟S306：重復(fù)步驟S303到步驟S305，直到相鄰兩次閾值θ之間的差距小于預(yù)定義的一個很小的常數(shù)θ₀；

步驟S307：對于可解釋結(jié)果中大于分割閾值θ的部分，被劃分為可解釋區(qū)域；小于分割閾值θ的部分，被劃分為非可解釋區(qū)域。