[發明專利]基于代理模型的對抗樣本生成方法和裝置

有效

• 申請號: 202110000728.4
• 申請日: 2021-01-04
• 公開（公告）號: CN112329930B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 蕭子豪;田天
• 申請（專利權）人: 北京智源人工智能研究院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京箴思知識產權代理有限公司 11913
• 代理人: 李春暉

1.一種基于代理模型的對抗樣本生成方法，包括：

提供代理模型、原始樣本和一基于迭代的對抗樣本生成算法；

基于代理模型、原始樣本和對抗樣本生成算法迭代生成對抗樣本，直到達到預設終止條件；

在每個迭代輪次中：

獲取上一輪次迭代生成對抗樣本時，所述代理模型的損失結果和各個參數自身的權重；

基于所述代理模型的損失結果和所述參數自身的權重計算各個參數自身的梯度；

將各個參數的梯度作為對應參數的重要性分數，所述重要性分數用于表示相應輪次中代理模型的對應參數對生成的對抗樣本的影響程度；

根據預設規則以及所述代理模型的各個參數的重要性分數剪除所述代理模型的部分參數；

根據剪除部分參數后保留的各個參數更新所述代理模型；

將達到預設終止條件時生成的對抗樣本作為最終的對抗樣本；

其中，所述基于迭代的對抗樣本生成算法包括動量迭代式對抗樣本生成算法；

在第i輪迭代時，通過以下方式生成對抗樣本：

；

；

其中，表示第i輪更新得到的動量，μ表示動量衰減速度，表示代理模型的損失函數計算得到的損失結果關于第i-1輪生成的對抗樣本的梯度，|·|₁表示L1范數，y表示所對應的原始樣本X的類別，表示將修改中的對抗樣本投影到距離原始樣本X不超過?的范圍內，其中α是超參數；

其中，在第i輪迭代時，通過以下方式計算某個參數對上一輪次生成的對抗樣本的重要性分數：

；

其中，ΔX為隨機生成的白噪聲，N(0,δ²I)表示一個期望為0，標準差為δ的高斯分布，I表示單位矩陣，ΔX～N(0,δ²I)表示ΔX服從概率分布N，d表示微分，w表示參數的權重。

2.如權利要求1所述的基于代理模型的對抗樣本生成方法，其中，獲取上一輪次迭代生成對抗樣本時，所述代理模型的損失結果，包括：

根據預設方式隨機采樣生成多個服從預設概率分布的白噪聲；

在該輪次生成的對抗樣本上疊加所述白噪聲得到多個輸入樣本；

將所述多個輸入樣本輸入所述代理模型得到多個損失結果；

基于所述代理模型的損失結果和所述參數自身的權重計算各個參數自身的梯度，包括：

基于所述多個損失結果和各個參數自身的權重計算得到每一個參數的多個梯度；

將各個參數的梯度作為對應參數的重要性分數，包括：

根據每一個參數的多個梯度計算對應參數的重要性分數。

3.如權利要求1所述的基于代理模型的對抗樣本生成方法，其中，提供包括多個原始樣本的原始樣本集；

在每個迭代輪次中，剪除部分參數之前，所述方法包括：

基于所述代理模型的損失結果和所述參數自身的權重，計算在生成每一對抗樣本時各個參數自身的梯度；

基于各個參數的多個梯度計算對應參數的重要性分數。

4.如權利要求1-3中任一項所述的基于代理模型的對抗樣本生成方法，其中，某一參數的重要性分數為所述參數的梯度的絕對值或所述參數的多個梯度的平均數值。

5.如權利要求1所述的基于代理模型的對抗樣本生成方法，其中，所述預設規則包括剪除重要性分數低于預設閾值的參數和/或以預設的剪枝率進行參數剪除。