[發(fā)明專利]面向圖像分類系統(tǒng)攻擊的對(duì)抗樣本檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110592135.1
• 申請(qǐng)日: 2021-05-28
• 公開（公告）號(hào): CN113222056B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 羅森林;于浩淼;潘麗敏;李玉
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06V10/762
• 分類號(hào): G06V10/762;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G06T5/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及一種基于深度神經(jīng)網(wǎng)絡(luò)隱藏層代表性特征最近鄰搜索的圖像分類系統(tǒng)對(duì)抗樣本檢測(cè)方法，屬于人工智能對(duì)抗領(lǐng)域。主要為了解決對(duì)抗樣本數(shù)量、種類較少難以用于訓(xùn)練和僅使用良性樣本訓(xùn)練時(shí)深度神經(jīng)網(wǎng)絡(luò)隱藏層特征數(shù)量較多、相似特征計(jì)算量大的問題。本發(fā)明首先將只包含良性樣本的訓(xùn)練集輸入到被攻擊圖像分類系統(tǒng)中，提取系統(tǒng)隱藏層特征構(gòu)建隱藏層特征池；并將其按照標(biāo)簽分別進(jìn)行聚類，將每個(gè)簇中心作為該標(biāo)簽代表性特征向量，構(gòu)建代表性特征池；對(duì)于測(cè)試樣本，先進(jìn)行圖像去噪，再輸入到系統(tǒng)中提取隱藏層特征，計(jì)算該特征在所有代表性特征中的K近鄰，將其中出現(xiàn)頻率最高的標(biāo)簽與直接將樣本輸入系統(tǒng)得到的標(biāo)簽比較，如果不同則為對(duì)抗樣本。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度神經(jīng)網(wǎng)絡(luò)隱藏層代表性特征最近鄰搜索的圖像分類系統(tǒng)對(duì)抗樣本檢測(cè)方法，屬于人工智能對(duì)抗領(lǐng)域。

背景技術(shù)

隨著深度神經(jīng)網(wǎng)絡(luò)模型的不斷改進(jìn)，深度學(xué)習(xí)能夠更快速地從海量的數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)的特征，并給出更準(zhǔn)確的判斷或者分類結(jié)果。深度神經(jīng)網(wǎng)絡(luò)模型逐漸深入到安全性至關(guān)重要的任務(wù)中，如自動(dòng)駕駛汽車、惡意軟件檢測(cè)、面部識(shí)別等領(lǐng)域。

當(dāng)深度學(xué)習(xí)以驚人的準(zhǔn)確性執(zhí)行各種各樣任務(wù)的同時(shí)，Szegedy等人卻發(fā)現(xiàn)在圖像分類領(lǐng)域，深度神經(jīng)網(wǎng)絡(luò)容易受到人眼無法察覺的微小擾動(dòng)的攻擊，從而導(dǎo)致模型完全改變對(duì)圖像的預(yù)測(cè)結(jié)果，并且相同的微小擾動(dòng)能夠同時(shí)攻擊多個(gè)深度神經(jīng)網(wǎng)絡(luò)模型。這一結(jié)果預(yù)示著對(duì)抗攻擊將能夠干擾深度神經(jīng)網(wǎng)絡(luò)模型的判別結(jié)果，從而導(dǎo)致自動(dòng)駕駛汽車識(shí)別障礙物失敗等重要的安全問題。

為防御對(duì)抗攻擊，對(duì)抗樣本檢測(cè)方法必不可少?，F(xiàn)有的對(duì)抗樣本檢測(cè)方法主要有三種，分別是預(yù)測(cè)不一致性判別、添加輔助網(wǎng)絡(luò)檢測(cè)、使用統(tǒng)計(jì)數(shù)據(jù)區(qū)分。預(yù)測(cè)不一致性判別的方法，基于分類器對(duì)良性樣本有著穩(wěn)定預(yù)測(cè)的思想，判斷是否不同分類器在輸入同一樣本時(shí)輸出存在分歧，如果存在分歧則說明輸入為對(duì)抗樣本。添加輔助網(wǎng)絡(luò)檢測(cè)的方法，需要增加一個(gè)輔助網(wǎng)絡(luò)，用來檢測(cè)輸入樣本是良性樣本還是對(duì)抗樣本。為提高輔助網(wǎng)絡(luò)的檢測(cè)性能，往往需要大量的良性樣本和對(duì)抗樣本作為訓(xùn)練集，但在實(shí)際中可用的對(duì)抗樣本數(shù)量種類相對(duì)有限，容易使檢測(cè)網(wǎng)絡(luò)面臨過擬合、泛化能力差的問題。使用統(tǒng)計(jì)數(shù)據(jù)區(qū)分的方法，同樣需要大量的對(duì)抗樣本用于計(jì)算和比對(duì)，也面臨著對(duì)抗樣本數(shù)據(jù)不足的問題，而且只能檢測(cè)出遠(yuǎn)離良性樣本分布的對(duì)抗樣本。

傳統(tǒng)的對(duì)抗樣本檢測(cè)方法往往需要大量的對(duì)抗樣本作為訓(xùn)練數(shù)據(jù)，無法適應(yīng)對(duì)抗樣本數(shù)量和種類較少的情況，也無法識(shí)別出訓(xùn)練集中未包含種類的對(duì)抗樣本。一些只使用良性樣本用于訓(xùn)練的方法，能夠識(shí)別出未知的對(duì)抗攻擊，但通常是對(duì)良性樣本的流形進(jìn)行建模，忽略了深度神經(jīng)網(wǎng)絡(luò)在樣本輸入后體現(xiàn)的內(nèi)在特征?，F(xiàn)有方法在利用深度神經(jīng)網(wǎng)絡(luò)隱藏層特征時(shí)，也存在特征數(shù)量過多，相似特征計(jì)算量大的困難。

發(fā)明內(nèi)容

本發(fā)明的目的是為解決對(duì)抗樣本數(shù)量、種類較少難以用于訓(xùn)練和僅使用良性樣本訓(xùn)練時(shí)深度神經(jīng)網(wǎng)絡(luò)隱藏層特征數(shù)量較多、相似特征計(jì)算量大的問題，提出一種基于深度神經(jīng)網(wǎng)絡(luò)隱藏層代表性特征最近鄰搜索的圖像分類系統(tǒng)對(duì)抗樣本檢測(cè)方法。

本發(fā)明的設(shè)計(jì)原理為：將只包含良性樣本的訓(xùn)練集輸入到被攻擊的圖像分類系統(tǒng)中，對(duì)于每個(gè)輸入樣本，提取系統(tǒng)的隱藏層特征，組成一個(gè)特征向量，特征向量的標(biāo)簽即為輸入樣本的分類標(biāo)簽。所有輸入樣本的特征向量及其標(biāo)簽組成了隱藏層特征池。對(duì)于隱藏層特征池中的所有特征向量按照標(biāo)簽分別進(jìn)行聚類，提取每次聚類形成的各個(gè)簇中心特征向量及其標(biāo)簽組成代表性特征池。對(duì)于測(cè)試集中每個(gè)樣本，先進(jìn)行圖像去噪，然后輸入到被攻擊的圖像分類系統(tǒng)中，提取系統(tǒng)的隱藏層特征，組成一個(gè)特征向量，并計(jì)算該向量在代表性特征池中的K近鄰，K近鄰中出現(xiàn)頻率最高的標(biāo)簽即為標(biāo)簽1；樣本直接輸入到被攻擊圖像分類系統(tǒng)，得到的分類為標(biāo)簽2。如果標(biāo)簽1和2相等，則為良性樣本，否則為對(duì)抗樣本。具體過程見圖1。

本發(fā)明的技術(shù)方案是通過如下步驟實(shí)現(xiàn)的：

步驟1，訓(xùn)練集樣本深度神經(jīng)網(wǎng)絡(luò)隱藏層特征提取。

步驟2，隱藏層特征池構(gòu)建。

步驟3，同標(biāo)簽特征聚類。