[發明專利]面向語音識別系統黑盒攻擊模型的防御方法及防御裝置

有效

• 申請號: 201911031043.5
• 申請日: 2019-10-28
• 公開（公告）號: CN110992934B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 陳晉音;葉林輝;楊奕濤
• 申請（專利權）人: 浙江工業大學
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/26;G06N3/08;H04L9/00
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

1.一種面向語音識別系統黑盒攻擊模型的防御方法，包括以下步驟：

(1)獲取原始音頻文件，利用基于深度學習的語音識別模型對原始音頻文件進行篩選，獲得能夠被正確識別的音頻文件，作為原始樣本，在原始樣本中添加模擬環境噪聲后，復制原始樣本到設定種群數量；

(2)在步驟(1)的基礎上，對原始樣本添加隨機噪聲以進行變異形成初代對抗樣本；

(3)以對抗樣本的解碼短語與目標短語的相似度作為評價函數的選擇依據，當相似度小于0.5時，以CTC損失函數作為評價函數，當相似度大于0.5時，以CTC損失函數和對抗樣本的解碼短語和目標短語的Levenshtein距離作為評價函數，利用遺傳算法對對抗樣本進行優化迭代，直至Levenshtein距離小于2為止獲得接近目標短語的對抗樣本；

(4)當Levenshtein距離小于2時，利用梯度估計的方法替換遺傳算法對對抗樣本進行優化，獲得精確對抗樣本；

(5)利用原始樣本和精確對抗樣本對所述語音識別模型重訓練進行優化，獲得能夠防御對抗攻擊的語音識別模型；

(6)利用能夠防御對抗攻擊的語音識別模型對待識別音頻文件進行識別，以防御對待識別音頻文件的對抗攻擊。

2.如權利要求1所述的面向語音識別系統黑盒攻擊模型的防御方法，其特征在于，以DeepSpeech作為基于深度學習的語音識別模型。

3.如權利要求1所述的面向語音識別系統黑盒攻擊模型的防御方法，其特征在于，在干凈音頻文件中添加模擬環境噪聲為高斯白噪聲。

4.如權利要求1所述的面向語音識別系統黑盒攻擊模型的防御方法，其特征在于，步驟(3)中，對抗樣本的解碼短語與目標短語的相似度R(x')為：

其中，Levenshtein(C(x'),t)為對抗樣本的解碼短語C(x')和目標短語的Levenshtein距離，len(t)為目標短語t的長度。

5.如權利要求4所述的面向語音識別系統黑盒攻擊模型的防御方法，其特征在于，步驟(4)的具體過程為：

相似度R(x')小于0.5，將CTC loss函數l_ctc(x')作為評價函數F₁(·)，當相似度R(x')大于0.5后，將Levenshtein距離引入評價函數，此時評價函數F₂(·)表示為：

F₂(x')＝(1-a)·l_ctc(x')+a·Levenshtein(C(x'),t)

其中，a為權重系數；

按照評價函數獲得對抗樣本的評價函數評分，根據得分情況從種群中選擇評分最高的m條樣本作為精英群體；然后，根據評價函數評分，從精英群體中挑選k次，組成父輩1，再挑選k次組成父輩2；通過從父輩1和父輩2中各取一半的數據來生成子代，m和k為自然數；

在獲得子代后，根據動量更新來更新突變的概率，突變的概率在每次迭代中都會根據以下指數加權的移動平均值的更新公式而調整大小：

其中，p_old表示種群原來的突變率，p_new表示種群新的突變率，currScore表示當前種群的得分，preScore表示上一代種群的得分；β和γ是相關系數，β值越大，新的突變率p_new越接近p_old；γ越大，p_new變化的范圍越大；

再根據動量更新的突變概率，給子代添加隨機噪聲，然后進入下一輪迭代，直至Levenshtein距離小于2為止獲得接近目標短語的對抗樣本。