[發明專利]一種基于圖像檢索模型的對抗樣本生成方法

有效

• 申請號: 202011098487.3
• 申請日: 2020-10-14
• 公開（公告）號: CN112199543B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 郎大鵬;梁甜甜;李子豫;項宇涵;陳宇;劉翔宇
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/55;G06V10/74;G06V10/774;G06V10/762;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于圖像檢索模型的對抗樣本生成方法，其特征在于，包括以下步驟：

步驟1：使用retrieval-SfM-120k作為訓練數據集，將retrieval-SfM-120k數據集的圖像組織成元組形式(q,m(q),N(q))輸入網絡；其中，q表示查詢樣本；m(q)表示一個匹配查詢樣本的正樣本；N(q)表示一組不匹配查詢樣本的負樣本；由這些元組構成訓練網絡的圖像對，共有|N(q)|+1對圖像對；根據數據集的ground truth文件，已經標定了查詢樣本的集合，以及每個查詢樣本對應的正樣本，通過讀取ground truth文件即可確定每個元組的q與m(q)；負樣本需要在查詢樣本所屬簇之外的其他簇中單獨計算選取，選取與查詢樣本具有最高相似度的非配對圖像；

步驟2：使用構建的6個圖像檢索模型AlexNet-MAC、AlexNet-GeM、VGG16-MAC、VGG16-GeM、ResNet50-MAC、ResNet50-GeM在retrieval-SfM-120k數據集進行訓練；每個訓練元組、由1個查詢樣本、1個正樣本和5個負樣本組成，構成6個圖像對；樣本輸入進神經網絡前，對尺寸進行縮放，使尺寸小于362×362；設置對比損失函數為：

對于AlexNet，τ＝0.7；對于VGG16，τ＝0.75；對于ResNet50，τ＝0.85；

步驟3：使用在ImageNet數據集上獲得的均值和方差對圖像進行歸一化處理，均值與標準差都有三個數值，分別對應圖像的三個通道；由于預訓練的CNN模型已具備優秀的特征提取能力，因此損失函數將會很快收斂，訓練周期設置為20，批次大小為5；基于VGG16和ResNet50的圖像檢索模型采用Adam優化器進行優化，設置初始學習率為l₀＝10^-6，并對學習率進行指數衰減，對第i個epoch衰減參數為exp(-0.1i)，參數衰減設置為5×10^-4；基于AlexNet的圖像檢索模型采用SGD優化器進行優化，初始學習率設置為l₀＝10^-3，動量為0.9，其他參數與VGG16和ResNet50保持一致；

步驟4：使用retrieval-SfM-30k數據集的驗證集在圖像檢索模型上生成通用對抗擾動；采用特征聚類預處理方法對retrieval-SfM-120k的驗證集中圖像進行聚類，保存512個聚類中心，在每個訓練周期與查詢圖像計算相似度來選取最近與最遠圖像，構成破壞圖像特征之間的成對關系；將檢索模型設置為評估模式，使用檢索模型進行測試，只起到提取特征向量的作用；訓練周期設置為100，并使用早停法在訓練過程進行檢查；當超過5個訓練周期沒有取得更好的攻擊效果后，訓練過程提前結束；批次大小設置為1，即每次傳入1張查詢圖像提取特征向量，與512個聚類中心進行余弦相似度的計算；優化器采用帶有動量的SGD，由公式

進行優化，動量參數momentum設置為0.9，限制擾動大小的參數ε設置為10；由于讀取圖像數據后進行了歸一化，表示圖像的張量的每一個元素[0,1]范圍；在優化擾動時，令ε＝ε/255，在歸一化條件下限制擾動的大小；初始學習率與該參數有關，設置為ε/10，并采取與訓練圖像檢索模型相同的指數衰減方案調整學習率。