[發明專利]一種基于Transformer模型的黑盒對抗樣本生成方法

在審

• 申請號: 202210332993.7
• 申請日: 2022-03-31
• 公開（公告）號: CN114693973A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 劉琚;韓艷陽;劉曉璽;顧凌晨;江瀟
• 申請（專利權）人: 山東大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李健康

為了解決實際應用中人工智能技術安全性難以評估和提升的問題，本發明提供一種基于Transformer模型的黑盒對抗樣本生成方法，屬于人工智能技術領域。主要思想在于考慮不同編碼塊對對抗樣本性能的影響，采用編碼塊權重分數對編碼塊性能進行分類。針對不同的編碼塊使用不同策略生成對抗樣本，平衡圖像和模型信息對擾動的影響，穩定擾動的更新方向，提高對抗樣本的攻擊成功率和遷移能力。最后，設計自適應權重調整關鍵像素點的擾動大小，使得對抗擾動在人眼難以察覺的情況下提高攻擊能力。本發明顯著提高了對抗樣本的遷移能力，能夠有效評估和提高人工智能技術的安全性，其在圖像分類任務上實驗，充分證明方法的有效性。

技術領域

本發明涉及一種基于Transformer模型的黑盒對抗樣本生成方法，屬于人工智能技術領域。

背景技術

隨著人工智能技術的迅猛發展，神經網絡模型在社會各個領域中發揮了重要作用，尤其是在計算機視覺領域，例如人臉識別、自動駕駛、社會治安等。然而研究表明，神經網絡模型非常容易受到具有高遷移性的對抗樣本的影響：在本地模型上，通過對原始圖像添加噪聲，生成在視覺上與原始圖像相似的圖像，導致其他神經網絡模型輸出錯誤。隨著越來越多的神經網絡模型被大規模應用在現實場景中，其安全性引發了人們的擔憂。與此同時，神經網絡模型的不可解釋性使得模型性能依賴于訓練的數據集，限制了模型性能的提高和廣泛應用。因此，如何建立可信的人工智能技術以及評估和提高神經網絡模型的安全性是目前亟待解決的問題。

為了提高神經網絡模型在應用領域上的安全性，減少在現實場景下受到攻擊者的潛在威脅，一方面，利用對抗樣本測試神經網絡模型，可以評估模型的安全性能；另一方面，通過在原始訓練集中添加對抗樣本用于訓練，可以提高模型的穩定性和安全性。因此，對抗樣本成為了一種評估和提高模型性能的重要方法，是人工智能領域的熱點研究問題。目前，出現了各種不同類型的神經網絡模型架構，例如卷積神經網絡、生成式對抗網絡、ViTs(Vision Transformers)等，其中ViTs由于擁有更廣的感受野，能夠更好地融合全局信息，尤其是當采用大規模數據集訓練模型時，在眾多計算機視覺領域中具有非常出色的性能，包括目標檢測和圖像分類等。現存的對抗攻擊技術大多是針對卷積神經網絡提出的，過度依賴卷積神經網絡模型信息，難以生成能夠同時攻擊多種不同類型模型的對抗樣本，在ViTs模型上存在攻擊成功率低，遷移能力弱等缺點，無法用于評估和提高ViTs的安全性。因此，研究基于ViTs 的對抗樣本生成方法至關重要。

發明內容

為了解決現有技術在ViTs模型上攻擊成功率低和遷移能力弱的問題，本發明提供了一種基于Transformer模型的黑盒對抗樣本生成方法，其具有很強的攻擊性能，減輕了對模型信息的依賴程度，從而提高對抗樣本的遷移能力。在黑盒場景下，能夠同時攻擊多種卷積神經網絡和ViTs模型。在模型的訓練階段，將本發明生成的對抗樣本與原始訓練集融合，可以有效提高模型的綜合性能。同時，本發明為神經網絡模型在應用場景下的安全性提供了更有效的評估方法。

本發明采用的技術方案具體如下：

一種基于Transformer模型的黑盒對抗樣本生成方法，該方法針對Transformer中不同的編碼塊屬性，采用兩種策略聯合生成對抗樣本，針對魯棒編碼塊，使用交叉熵損失策略，針對非魯棒編碼塊，使用基于自注意力特征損失策略，該方法能夠避免模型信息的冗余，提高了對抗樣本的遷移能力，其特征在于該方法包括以下步驟：

步驟1：獲取原始圖像及對應的標簽，形成原始數據集，并初始化與原始圖像尺寸相同的對抗擾動；

步驟2：生成多張與所述原始圖像尺寸相同的噪聲圖像，形成負樣本數據集；

步驟3：根據所述原始圖像和負樣本數據集，將視覺Transformer，即ViT模型中的編碼塊劃分為魯棒編碼塊和非魯棒編碼塊；其中所述ViT模型為預訓練模型，包含多個編碼塊，每個編碼塊均可提取分類信息用于計算目標損失值；