[發明專利]一種基于Transformer模型的黑盒對抗樣本生成方法

在審

• 申請號: 202210332993.7
• 申請日: 2022-03-31
• 公開（公告）號: CN114693973A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 劉琚;韓艷陽;劉曉璽;顧凌晨;江瀟
• 申請（專利權）人: 山東大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李健康

1.一種基于Transformer模型的黑盒對抗樣本生成方法，該方法針對Transformer中不同的編碼塊屬性，采用兩種策略聯合生成對抗樣本，針對魯棒編碼塊，使用交叉熵損失策略，針對非魯棒編碼塊，使用基于自注意力特征損失策略，該方法能夠避免模型信息的冗余，提高了對抗樣本的遷移能力，其特征在于該方法包括以下步驟：

步驟1：獲取原始圖像及對應的標簽，形成原始數據集，并初始化與原始圖像尺寸相同的對抗擾動；

步驟2：生成多張與所述原始圖像尺寸相同的噪聲圖像，形成負樣本數據集；

步驟3：根據所述原始圖像和負樣本數據集，將視覺Transformer，即ViT模型中的編碼塊劃分為魯棒編碼塊和非魯棒編碼塊；其中所述ViT模型為預訓練模型，包含多個編碼塊，每個編碼塊均可提取分類信息用于計算目標損失值；

步驟4：將所述對抗擾動與原始圖像線性疊加輸入至所述ViT模型中，迭代更新對抗擾動，直至滿足停止迭代條件，輸出最終對抗擾動，將所述的最終對抗擾動和原始圖像線性疊加，得到對應的對抗樣本。

2.如權利要求1所述的基于Transformer模型的黑盒對抗樣本生成方法，其特征在于：在步驟2中形成負樣本數據集，具體包括：

確定所述原始圖像對應的負樣本數據集中包含的圖像個數為M；

根據以下公式，得到原始圖像對應的負樣本數據集中的第m張圖像：

其中，為第m張噪聲圖像；p代表噪聲圖像中某一像素點為0的概率，1-p代表噪聲圖像中某一像素點為1的概率；x為原始圖像；⊙代表向量點積。

3.如權利要求1所述的基于Transformer模型的黑盒對抗樣本生成方法，其特征在于：在步驟3中將ViT模型中的編碼塊劃分為魯棒編碼塊和非魯棒編碼塊，具體包括：

根據所述原始圖像及ViT模型，確定該模型關于原始圖像的目標損失函數值和各個編碼塊關于原始圖像的自注意力特征圖，分別稱為第一損失值和第一自注意力特征圖；根據第一損失值和第一自注意力特征圖，得到各個編碼塊中的第一編碼塊權重分數；

根據所述負樣本數據集中的各圖像及ViT模型，確定該模型關于負樣本的目標損失函數和各個編碼塊關于負樣本的自注意力特征圖，分別稱為第二損失值和第二自注意力特征圖；

根據第二損失值和第二自注意力特征圖，確定各個編碼塊中的第二編碼塊權重分數；

根據負樣本數據集中各圖像的第二編碼塊權重分數，得到各個編碼塊中的平均第二編碼塊權重分數；

根據第一編碼塊權重分數和平均第二編碼塊權重分數，確定各編碼塊的抗干擾能力，將前K個抗干擾能力強的編碼塊劃分為魯棒編碼塊，其余編碼塊劃分為非魯棒編碼塊。

4.如權利要求3所述的基于Transformer模型的黑盒對抗樣本生成方法，其特征在于根據以下公式，得到各個編碼塊的第一編碼塊權重分數：

其中，B表示ViT模型中編碼塊的數量；i表示編碼塊的編號；J(x,y)表示ViT模型的損失函數；SAM_i(x)表示第i個編碼塊提取的自注意力特征圖；表示對x求梯度。

5.如權利要求3所述的基于Transformer模型的黑盒對抗樣本生成方法，其特征在于：根據以下公式，得到各個編碼塊的平均第二編碼塊權重分數：

其中M為負樣本數據集包含的圖像數量。

6.如權利要求3所述的基于Transformer模型的黑盒對抗樣本生成方法，其特征在于：所述的魯棒編碼塊和非魯棒編碼塊，具體包括：

根據以下公式，得到各編碼塊的抗干擾能力：

其中，| |代表取絕對值；wⁱ(x)表示第i個編碼塊的第一編碼塊權重分數，表示第i個編碼塊的平均第二編碼塊權重分數；

根據以下公式，得到抗干擾能力由強到弱的編碼塊位置：

S＝[s₁,s₂,…,s_B]

其中，前K個位置對應的編碼塊為魯棒編碼塊，其余為非魯棒編碼塊。