[發(fā)明專利]一種基于圖像檢索模型的對(duì)抗樣本生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011098487.3
• 申請(qǐng)日: 2020-10-14
• 公開（公告）號(hào): CN112199543B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 郎大鵬;梁甜甜;李子豫;項(xiàng)宇涵;陳宇;劉翔宇
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號(hào): G06F16/583
• 分類號(hào): G06F16/583;G06F16/55;G06V10/74;G06V10/774;G06V10/762;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明屬于深度學(xué)習(xí)中的圖像檢索模型技術(shù)領(lǐng)域，具體涉及一種基于圖像檢索模型的對(duì)抗樣本生成方法。本發(fā)明首先基于深度圖像特征構(gòu)建圖像檢索模型，然后通過破壞序列近鄰關(guān)系生成對(duì)抗擾動(dòng)，降低圖像檢索性能，最后以集成的方式生成通用對(duì)抗擾動(dòng)，提高對(duì)抗樣本的遷移性。本發(fā)明通過使用圖像檢索模型提取到的特征向量，將圖像特征之間的余弦相似度作為衡量匹配程度的得分，按降序排列顯示檢索到的參考圖像，實(shí)現(xiàn)圖像檢索功能。本發(fā)明通過集成多個(gè)模型生成通用對(duì)抗擾動(dòng)，生成具有更高遷移性的對(duì)抗樣本。本發(fā)明提出的對(duì)抗樣本生成方法能夠生成使圖像檢索性能明顯下降的對(duì)抗樣本，并且提高了對(duì)抗樣本遷移性。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)中的圖像檢索模型技術(shù)領(lǐng)域，具體涉及一種基于圖像檢索模型的對(duì)抗樣本生成方法。

背景技術(shù)

隨著深度學(xué)習(xí)在現(xiàn)實(shí)場(chǎng)景下的實(shí)際部署，人們開始關(guān)注人工智能系統(tǒng)的安全性問題。有研究發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)容易受到微小擾動(dòng)的干擾，即在純凈樣本上添加不易被人眼察覺的擾動(dòng)后，模型會(huì)以高置信度給出錯(cuò)誤的判斷，從而對(duì)于受到干擾的樣本產(chǎn)生錯(cuò)誤的輸出，這種樣本稱為對(duì)抗樣本。

當(dāng)前關(guān)于對(duì)抗樣本的研究，大部分工作仍集中于圖像分類的攻擊，對(duì)于圖像檢索的對(duì)抗樣本生成算法研究相對(duì)有限，并且由于圖像分類與圖像檢索任務(wù)在數(shù)據(jù)標(biāo)注格式、目標(biāo)、輸入尺度、輸出和優(yōu)化方法等方面的不同，適用于圖像分類的對(duì)抗樣本生成方法無(wú)法直接應(yīng)用于圖像檢索。

當(dāng)今現(xiàn)有的基于圖像檢索的對(duì)抗樣本生成方法主要是通用對(duì)抗擾動(dòng)方法。通用對(duì)抗擾動(dòng)可以直接遷移至其他模型上，且生成對(duì)抗樣本也能取得一定的攻擊效果，但遷移攻擊的效果仍不夠好，針對(duì)對(duì)抗樣本遷移性的提升仍是需要進(jìn)一步研究的工作。而本發(fā)明提出的基于集成的方法可以在使圖像檢索性能明顯下降的基礎(chǔ)上提高通用對(duì)抗樣本的遷移性。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于圖像檢索模型的對(duì)抗樣本生成方法。

本發(fā)明的目的通過如下技術(shù)方案來實(shí)現(xiàn)：包括以下步驟：

步驟1：使用retrieval-SfM-120k作為訓(xùn)練數(shù)據(jù)集，將retrieval-SfM數(shù)據(jù)集的圖像組織成元組形式(q,m(q),N(q))輸入網(wǎng)絡(luò)；其中，q表示查詢樣本；m(q)表示一個(gè)匹配查詢樣本的正樣本；N(q)表示一組不匹配查詢樣本的負(fù)樣本；由這些元組構(gòu)成訓(xùn)練網(wǎng)絡(luò)的圖像對(duì)，共有|N(q)|+1對(duì)圖像對(duì)；根據(jù)數(shù)據(jù)集的ground truth文件，已經(jīng)標(biāo)定了查詢樣本的集合，以及每個(gè)查詢樣本對(duì)應(yīng)的正樣本，通過讀取ground truth文件即可確定每個(gè)元組的q與m(q)；負(fù)樣本需要在查詢樣本所屬簇之外的其他簇中單獨(dú)計(jì)算選取，選取與查詢樣本具有最高相似度的非配對(duì)圖像；

步驟2：使用構(gòu)建的6個(gè)圖像檢索模型AlexNet-MAC、AlexNet-GeM、VGG16-MAC、VGG16-GeM、ResNet50-MAC、ResNet50-GeM在retrieval-SfM-120k數(shù)據(jù)集進(jìn)行訓(xùn)練；每個(gè)訓(xùn)練元組、由1個(gè)查詢樣本、1個(gè)正樣本和5個(gè)負(fù)樣本組成，構(gòu)成6個(gè)圖像對(duì)；樣本輸入進(jìn)神經(jīng)網(wǎng)絡(luò)前，對(duì)尺寸進(jìn)行縮放，使尺寸小于362×362；設(shè)置對(duì)比損失函數(shù)為：

對(duì)于AlexNet，τ＝0.7；對(duì)于VGG16，τ＝0.75；對(duì)于ResNet50，τ＝0.85；