[發明專利]一種面向圖像描述系統的通用對抗補丁生成方法及系統

有效

• 申請號: 202210049769.7
• 申請日: 2022-01-17
• 公開（公告）號: CN114372537B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 徐文淵;冀曉宇;程雨詩;張世博
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 萬尾甜;韓介梅

1.一種面向圖像描述系統的通用對抗補丁生成方法，其特征在于，該方法包括以下步驟：

1)輸入目標描述語句，根據設計尺寸隨機初始化對抗補丁；

2)隨機選擇一張圖像，通過RandomApply算法將對抗補丁添加到該圖像中；其中，RandomApply算法首先將對抗補丁根據預設范圍隨機旋轉、調整尺寸和調整亮度，然后將處理后的對抗補丁疊加在選擇圖像的隨機位置；

3)將步驟2)生成的添加對抗補丁后的圖像送入圖像描述系統中，根據步驟1)中輸入的目標描述語句計算注意力增強損失函數、目標描述損失函數和補丁平滑度損失函數，加權求得聯合損失函數；所述的注意力增強損失函數用于增強圖像描述系統對于對抗補丁的注意力權重；所述的目標描述損失函數用于使圖像描述系統輸出目標描述語句；所述的補丁平滑度損失函數用于提高對抗補丁在物理世界中的魯棒性；

4)根據步驟3)求得的聯合損失函數進行反向傳播，然后通過優化器更新對抗補丁的像素值；

5)檢查是否達到預設迭代次數，若未達到預設迭代次數則回到步驟2)開始新的迭代，若達到則輸出對抗補丁；

步驟3)中，所述的注意力增強損失函數的計算包括以下步驟：

(1)注意力單詞選擇：對抗補丁的目標描述為英文描述，針對英語單詞中的十種不同單詞類型，選擇具有包含具體信息的實詞作為注意力增強的對象，所述的包含具體信息的實詞包括名詞、實意動詞、副詞、形容詞、數詞五種單詞類型；

(2)注意力區域選擇：圖像描述系統識別過程中按照固定方格劃分不同的區域；根據對抗補丁不同的擺放位置，選擇不同的注意力區域，選擇的標準為對抗補丁占所在區域面積大于該區域的一半；

(3)根據步驟(1)選擇的注意力單詞和步驟(2)選擇的注意力區域，得到注意力增強損失函數，其表達公式為：

式中T代表所有被選擇的注意力單詞所對應的LSTM網絡的時間節點，I代表在輸出對應注意力單詞時所選擇的注意力區域，α_(i,t)表示在輸出當前時間節點t時第i塊區域的注意力權重，ε₁代表對于當前單詞的注意力權重上限。

2.根據權利要求1所述的面向圖像描述系統的通用對抗補丁生成方法，其特征在于，所述圖像描述系統為以CNN網絡作為編碼器、以LSTM網絡作為解碼器的圖像描述系統。

3.根據權利要求1所述的面向圖像描述系統的通用對抗補丁生成方法，其特征在于，步驟2)中，所述的RandomApply算法的表達公式為：

x′＝Apply_l～L(x，l，Trans_t～T(patch，t))

式中patch是所生成的對抗補丁，x是原始選擇的圖片，x′是添加對抗補丁后的圖像，T是預設旋轉、調整尺寸和調整亮度參數的集合，t是隨機選擇得到的對抗補丁旋轉、調整尺寸和調整亮度參數，Trans_t～T(patch，t)表示將對抗補丁按照隨機得到的參數對對抗補丁進行隨機旋轉、調整尺寸和調整亮度，L是預設擺放位置的集合，l是隨機選擇得到的擺放位置，Apply_l～L(x，l，Trans_t～T(patch，t))表示將隨機變化后的Trans_t～T(patch，t)隨機覆蓋到原始選擇的圖像上。