[發明專利]面向語音識別系統黑盒攻擊模型的防御方法及防御裝置

有效

• 申請號: 201911031043.5
• 申請日: 2019-10-28
• 公開（公告）號: CN110992934B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 陳晉音;葉林輝;楊奕濤
• 申請（專利權）人: 浙江工業大學
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/26;G06N3/08;H04L9/00
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

本發明公開了一種針對語音識別系統黑盒攻擊模型的防御方法以及防御裝置。該防御方法利用對原始音頻添加模擬環境噪聲，模擬現實場景下的語音輸入情況，隨機添加噪聲后形成初代對抗樣本，通過遺傳算法和梯度估計對對抗樣本進行優化，獲得精確對抗樣本，然后將原始音頻文件和對抗樣本混合，作為對抗訓練的訓練數據集，對模型進行在訓練，提高了模型對對抗樣本的識別準確率，從而提高了模型對于對抗攻擊的魯棒性。

技術領域

本發明屬于深度學習安全技術領域，具體涉及一種面向語音識別系統黑盒攻擊模型的防御方法及防御裝置。

背景技術

隨著技術的發展，現代的語音識別技術的目標轉變為教會機器準確識別聽到的語音，并按照語音的內容正確的執行指令。語音識別技術簡化了人與機器之間的通信，省略了中間鍵盤控制和手寫的步驟，它使得人們在進行語音控制的同時，手或眼也能進行其他操作。這些優點使得自動語音識別系統在從國防、醫療到智能駕駛等各個領域得到了廣泛的應用。例如在國防領域，自動語音識別系統通過語音命令提供選定的駕駛艙控制，避免飛行員因選定的人工任務而分心。在醫療領域，人們利用語音識別技術幫助有顯著發聲障礙的患者的語言表達。在智能家居領域，基于語音的界面早已廣泛應用于家庭自動化，人們可以通過語音識別技術實現家電的喚醒及控制。

近些年來，深度學習的應用給語音識別系統帶來更簡單的訓練步驟，更高的識別正確率的同時，也給系統的安全性帶來了潛在的風險。最近的研究表明深度神經網絡容易受到對輸入數據進行細微擾動形式的對抗攻擊。這種做法會導致模型輸出不正確的預測結果。這就會造成一些嚴重的事故。例如，語音識別系統作為自動駕駛技術的重要組成部分，如果深度語音識別系統被外加的細微擾動所攻擊，汽車可能會錯誤的識別乘客的指令，這給自動駕駛系統帶來了極大的安全隱患。若一個語音命令被錯誤的識別并執行，極有可能引發交通事故，造成人員的傷亡和交通的癱瘓。

目前在攻防方面，大部分的研究集中在圖像領域，對于語音識別的攻防少有人研究。浙江大學的紀守領，杜天宇等人的針對白盒場景的對抗音頻生成方法及系統的專利，提出了在白盒場景下，利用粒子群優化算法模塊尋找最佳噪音，生成對抗樣本的方法。但是，在現實生活的應用中，模型的參數結構通常是無法獲取的，黑盒情況下的精確對抗樣本的生成要比白盒情況下困難很多。

發明內容

為了提高語音識別系統的防御能力和識別精度，本發明提供了一種面向語音識別系統黑盒攻擊模型的防御方法及防御裝置。

為實現上述發明目的，本發明提供了一種面向語音識別系統黑盒攻擊模型的防御方法，包括以下步驟：

(1)獲取原始音頻文件，利用基于深度學習的語音識別模型對原始音頻文件進行篩選，獲得能夠被正確識別的音頻文件，作為原始樣本，在原始樣本中添加模擬環境噪聲后，復制原始樣本到設定種群數量；

(2)在步驟(1)的基礎上，對原始樣本添加隨機噪聲以進行變異形成初代對抗樣本；

(3)以對抗樣本的解碼短語與目標短語的相似度作為評價函數的選擇依據，當相似度小于0.5時，以CTC損失函數作為評價函數，當相似度大于0.5時，以CTC損失函數和對抗樣本的解碼短語和目標短語的Levenshtein距離作為評價函數，利用遺傳算法對對抗樣本進行優化迭代，直至Levenshtein距離小于2為止獲得接近目標短語的對抗樣本；

(4)當Levenshtein距離小于2時，利用梯度估計的方法替換遺傳算法對對抗樣本進行優化，獲得精確對抗樣本；

(5)利用原始樣本和精確對抗樣本對所述語音識別模型重訓練進行優化，獲得能夠防御對抗攻擊的語音識別模型。

(6)利用能夠防御對抗攻擊的語音識別模型對待識別音頻文件進行識別，以防御對待識別音頻文件的對抗攻擊。