[發明專利]基于對抗樣本檢測和矩陣分解的集成防御方法

在審

• 申請號: 202211180101.2
• 申請日: 2022-09-27
• 公開（公告）號: CN115545099A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 周維;何偉;王汝欣;宋冰冰
• 申請（專利權）人: 云南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F17/16
• 代理公司: 成都行之智信知識產權代理有限公司 51256
• 代理人: 溫利平

本發明公開了一種基于對抗樣本檢測和矩陣分解的集成防御方法，對于目標模型的輸入樣本，首先采用基于閾值的對抗樣本檢測方法進行對抗樣本檢測，如果檢測到輸入樣本為對抗樣本，則對于對抗樣本基于矩陣分解進行數據重構，得到重構樣本，當輸入樣本為正常樣本時，直接將輸入樣本輸入目標模型進行預測，得到輸入樣本的預測結果；當輸入樣本為對抗樣本時，將重構樣本輸入目標模型進行預測，作為輸入樣本的預測結果。本發明通過基于閾值的對抗樣本檢測方法和基于矩陣分解的輸入樣本重構方法兩種技術的結合，從而有效防御對抗樣本，提高目標模型的魯棒性。

技術領域

本發明屬于人工智能安全技術領域，更為具體地講，涉及一種基于對抗樣本檢測和矩陣分解的集成防御方法。

背景技術

隨著人工智能的快速發展，深度學習在多個領域取得了重要的應用，尤其是在圖像分類領域。然而最近研究表明深度學習存在著巨大的安全性問題，對抗樣本的出現使得深度學習模型以較高的置信度輸出錯誤的分類結果，這給人工智能安全帶來了巨大的挑戰，目前應對對抗樣本的方法主要分為三類：

1)基于增強模型魯棒性的對抗樣本防御方法：此類方法中常用的是對抗訓練，該方法是在訓練的數據集中加入對抗樣本一起訓練深度學習模型，使得模型具有防御對抗樣本的能力，該方法的優點是具有較好的防御效果，缺點是防御成本較大，模型往往只對加入訓練集的對抗樣本生成算法生成的對抗樣本具有較好的防御效果。

2)基于圖像預處理的對抗樣本防御方法：此類方法中常用的有特征壓縮和隨機化等方法，特征壓縮中對輸入樣本首先進行壓縮，再將壓縮后的圖像進行重構，壓縮重構的圖像能夠有效的防御對抗樣本；而隨機化等方法是將輸入樣本按照一定的大小進行隨機縮放，再在縮放圖像周圍隨機填充以達到固定的輸入尺寸，最后將處理后的圖像輸入模型進行預測，此類方法的優點是簡單有效，防御成本較低，缺點是由于引入了圖像預處理等一系列操作會降低正常樣本的識別精度。

3)基于對抗樣本檢測的防御方法：該方法用于從輸入樣本中分離出對抗樣本從而對不同的樣本分別的進行處理，目前主流的檢測方案有特征壓縮等方法，現有方法的優點是能夠在樣本輸入模型之前分離出對抗樣本，缺點是目前的檢測方法具有較高的假陽性率，也存在一定局限性。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于對抗樣本檢測和矩陣分解的集成防御方法，通過基于閾值的對抗樣本檢測方法和基于矩陣分解的輸入樣本重構方法兩種技術的結合，從而有效防御對抗樣本，提高目標模型的魯棒性。

為了實現上述發明目的，本發明基于對抗樣本檢測和矩陣分解的集成防御方法包括以下步驟：

S1：對于目標模型的輸入樣本，首先采用基于閾值的對抗樣本檢測方法進行對抗樣本檢測，具體方法如下：

S1.1：將輸入樣本X復制M份，然后生成M個服從預設分布的高斯噪聲信號σ_m，m＝1,2,…,M，將M個高斯噪聲信號σ_m分別加入復制輸入樣本中，得到M個干擾樣本X_adv_m；

S1.2：將原始輸入樣本X輸入目標模型進行預測得到預測結果P₀，將M個干擾樣本X_adv_m分別輸入目標模型進行預測得到M個預測結果P_m；

S1.3：對原始輸入樣本X的預測結果計算得到信息熵H₀，對M個干擾樣本X_adv_m的預測結果P_m分別計算信息熵H_m，然后采用如下公式計算得到每個干擾樣本的信息熵分值S_m：

S_m＝|H_m-H₀|