[發(fā)明專利]面向語音識別系統(tǒng)黑盒攻擊模型的防御方法及防御裝置

有效

• 申請?zhí)枺?/td>: 201911031043.5
• 申請日: 2019-10-28
• 公開（公告）號: CN110992934B
• 公開（公告）日: 2022-04-26
• 發(fā)明（設計）人: 陳晉音;葉林輝;楊奕濤
• 申請（專利權）人: 浙江工業(yè)大學
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/26;G06N3/08;H04L9/00
• 代理公司: 杭州天勤知識產(chǎn)權代理有限公司 33224
• 代理人: 曹兆霞

1.一種面向語音識別系統(tǒng)黑盒攻擊模型的防御方法，包括以下步驟：

(1)獲取原始音頻文件，利用基于深度學習的語音識別模型對原始音頻文件進行篩選，獲得能夠被正確識別的音頻文件，作為原始樣本，在原始樣本中添加模擬環(huán)境噪聲后，復制原始樣本到設定種群數(shù)量；

(2)在步驟(1)的基礎上，對原始樣本添加隨機噪聲以進行變異形成初代對抗樣本；

(3)以對抗樣本的解碼短語與目標短語的相似度作為評價函數(shù)的選擇依據(jù)，當相似度小于0.5時，以CTC損失函數(shù)作為評價函數(shù)，當相似度大于0.5時，以CTC損失函數(shù)和對抗樣本的解碼短語和目標短語的Levenshtein距離作為評價函數(shù)，利用遺傳算法對對抗樣本進行優(yōu)化迭代，直至Levenshtein距離小于2為止獲得接近目標短語的對抗樣本；

(4)當Levenshtein距離小于2時，利用梯度估計的方法替換遺傳算法對對抗樣本進行優(yōu)化，獲得精確對抗樣本；

(5)利用原始樣本和精確對抗樣本對所述語音識別模型重訓練進行優(yōu)化，獲得能夠防御對抗攻擊的語音識別模型；

(6)利用能夠防御對抗攻擊的語音識別模型對待識別音頻文件進行識別，以防御對待識別音頻文件的對抗攻擊。

2.如權利要求1所述的面向語音識別系統(tǒng)黑盒攻擊模型的防御方法，其特征在于，以DeepSpeech作為基于深度學習的語音識別模型。

3.如權利要求1所述的面向語音識別系統(tǒng)黑盒攻擊模型的防御方法，其特征在于，在干凈音頻文件中添加模擬環(huán)境噪聲為高斯白噪聲。

4.如權利要求1所述的面向語音識別系統(tǒng)黑盒攻擊模型的防御方法，其特征在于，步驟(3)中，對抗樣本的解碼短語與目標短語的相似度R(x')為：

其中，Levenshtein(C(x'),t)為對抗樣本的解碼短語C(x')和目標短語的Levenshtein距離，len(t)為目標短語t的長度。

5.如權利要求4所述的面向語音識別系統(tǒng)黑盒攻擊模型的防御方法，其特征在于，步驟(4)的具體過程為：

相似度R(x')小于0.5，將CTC loss函數(shù)l_ctc(x')作為評價函數(shù)F₁(·)，當相似度R(x')大于0.5后，將Levenshtein距離引入評價函數(shù)，此時評價函數(shù)F₂(·)表示為：

F₂(x')＝(1-a)·l_ctc(x')+a·Levenshtein(C(x'),t)

其中，a為權重系數(shù)；

按照評價函數(shù)獲得對抗樣本的評價函數(shù)評分，根據(jù)得分情況從種群中選擇評分最高的m條樣本作為精英群體；然后，根據(jù)評價函數(shù)評分，從精英群體中挑選k次，組成父輩1，再挑選k次組成父輩2；通過從父輩1和父輩2中各取一半的數(shù)據(jù)來生成子代，m和k為自然數(shù)；

在獲得子代后，根據(jù)動量更新來更新突變的概率，突變的概率在每次迭代中都會根據(jù)以下指數(shù)加權的移動平均值的更新公式而調整大?。?/p>

其中，p_old表示種群原來的突變率，p_new表示種群新的突變率，currScore表示當前種群的得分，preScore表示上一代種群的得分；β和γ是相關系數(shù)，β值越大，新的突變率p_new越接近p_old；γ越大，p_new變化的范圍越大；

再根據(jù)動量更新的突變概率，給子代添加隨機噪聲，然后進入下一輪迭代，直至Levenshtein距離小于2為止獲得接近目標短語的對抗樣本。