[發明專利]一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法

在審

• 申請號: 202011196711.2
• 申請日: 2020-10-30
• 公開（公告）號: CN112216273A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 董理;黃其娟;杭小樹;余水;王讓定
• 申請（專利權）人: 東南數字經濟發展研究院
• 主分類號: G10L15/06
• 分類號: G10L15/06;G06N3/04
• 代理公司: 深圳紫晴專利代理事務所(普通合伙) 44646
• 代理人: 陳映輝

1.一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，其特征在于，包括以下步驟：

(1)按照訓練策略選擇訓練數據以及訓練的批大小的目標標簽；

(2)將數據以及標簽輸入到生成器G中，生成對抗擾動，并且構建相應的對抗樣本；

(3)將生成的對抗樣本分別輸入到判別器D和目標受害模型，得到相應的損失，并且計算相應的損失，更新網絡的參數；

(4)重復步驟(1)至步驟(4)，直到滿足訓練的停止條件，最終得到訓練好的模型；

(5)模型使用，加載模型參數，輸入語音樣本以及目標標簽，即可快速的生成對抗樣本。

2.根據權利要求1所述的一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，其特征在于：所述步驟(1)中的目標標簽由標簽標量轉化為標簽向量的公式如下：

其中，t_a是預設的目標標簽，是預設目標標簽的獨熱編碼，W為目標高維矩陣，t是經過映射完的目標標簽向量。

3.根據權利要求1所述的一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，其特征在于：所述步驟(2)中的生成器采用1維卷積層的堆疊，并在最后一個卷積層后使用tanh激活函數，將生成器的輸出約束在[-1，1]的范圍內，所述生成器包括下采樣和上采樣的兩個過程，下采樣過程使用了8個一維卷積層，上采樣過程使用了8個轉置卷積成，并且在最后一個卷積層后使用了tanh激活函數，并且使用跳躍連接的方法連接下采樣和上采樣兩個過程，所述對抗樣本由如下的公式構建：

x′＝x+G(x，t)#(2)

其中G(x，t)是生成的對抗擾動。

4.根據權利要求1所述的一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，其特征在于：所述步驟(3)中的判別器由11個卷積塊組成，除最后1個卷積塊外每個卷積塊都由1個一維卷積層，批歸一化層，Leaky-ReLU激活函數構成。最后1個卷積塊由1個一維卷積層和Leaky-ReLU激活函數構成。在卷積塊后連接一個全連接層，最后通過softmax得到分類概率。

5.根據權利要求1所述的一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，其特征在于：所述步驟(3)中計算損失的公式為：

L_G＝L_gan+αL_adv+βL₂#(3)

其中，L_G是生成器總的損失；L_gan是判別器將對抗樣本識別成正常樣本的損失；L_adv是受害模型對生成的對抗樣本的分類結果，即對抗樣本被分類成目標標簽的損失；L₂是對抗樣本與正常樣本之間的二范數損失，α和β是損失的權重，控制對抗樣本的攻擊成功率和語音質量的參數。

6.根據權利要求4所述的一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，其特征在于：所述L_gan的具體計算方法如下：

其中D(x′)是判別器對生成對抗樣本的分類情況，表示求期望運算。

所述L_adv的具體計算方法如下：

其中l_ce是指目標受害網絡的分類損失函數，t_a表示預設的目標標簽，f_i表示第i個受害模型。

所述L₂的具體計算方法如下：

L₂＝||x′-x||₂#(6)

所述判別器的損失具體計算方法如下：

7.根據權利要求1所述的一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，其特征在于：所述步驟(4)中得到的模型計算公式為：

其中G^*為訓練好的生成器，D^*為訓練好的判別器。

8.根據權利要求1所述的一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，其特征在于：所述目標標簽的選擇方法為：在網絡訓練時，隨機選擇不同的目標標簽作為批訓練的目標標簽，批大小設為64，使用交替更新的方式訓練生成器和判別器，首先固定判別器的參數，更新生成器的參數，然后固定生成器的參數，更新判別器的參數，網絡訓練的終止條件有兩個，第一個是達到預設的訓練次數，第二是5個訓練次數內攻擊成功了沒有提升。具體的過程如下：

輸入：目標標簽t_a，目標受害網絡f_i，訓練數據集，超參數α，β，批大小m；

輸出：訓練好的生成器G^*；

用Xavier初始化生成器和判別器的參數；加載目標受害網絡的參數，并且固定其參數；D0

在訓練集中隨機獲取m個原始樣本和隨機選擇不同的m個目標標簽。

通過公式(1)得到經過映射的目標標簽。

通過公式(2)得到構建的對抗樣本。

使用隨機梯度更新生成器的參數：

使用隨機梯度更新判別器的參數：

WHILE滿足結束條件。