[發明專利]一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法

在審

• 申請號: 202011196711.2
• 申請日: 2020-10-30
• 公開（公告）號: CN112216273A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 董理;黃其娟;杭小樹;余水;王讓定
• 申請（專利權）人: 東南數字經濟發展研究院
• 主分類號: G10L15/06
• 分類號: G10L15/06;G06N3/04
• 代理公司: 深圳紫晴專利代理事務所(普通合伙) 44646
• 代理人: 陳映輝

本發明公開了一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，包括以下步驟：(1)按照訓練策略選擇訓練數據以及訓練的批大小的目標標簽；(2)將數據以及標簽輸入到生成器G中，生成對抗擾動，并且構建相應的對抗樣本；(3)將生成的對抗樣本分別輸入到判別器D和目標受害模型，得到相應的損失，并且計算相應的損失，更新網絡的參數；(4)重復步驟(1)至步驟(4)，直到滿足訓練的停止條件，最終得到訓練好的模型；(5)模型使用，加載模型參數，輸入語音樣本以及目標標簽，即可快速的生成對抗樣本。使用本發明提出的方法，能夠實現實時場景下基于語音關鍵詞分類網絡應用的對抗樣本攻擊。

技術領域

本發明涉及基于條件生成對抗網絡的對抗樣本生成技術領域，具體是一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法。

背景技術

基于深度學習的語音關鍵詞分類器作為語音喚醒功能的核心功能被廣泛地應用于智能設備，如智能手機，智能音箱和智能聲控門鎖等。由于語音關鍵詞分類器容易遭到對抗樣本攻擊，因而給這類應用蒙上潛在的安全隱患。為了消除這些安全隱患，對抗樣本的研究顯得非常必要。對抗樣本是指在深度學習中，對網絡的輸入進行細微有目的修改導致網絡做出錯誤輸出，甚至攻擊者指定的輸出。一般意義上的對抗樣本需要滿足以下兩個方面的條件：第一，在聽覺感受上，對抗樣本應與其原始樣本無異。第二，在功能上，對抗樣本可以使目標網絡識別出錯，甚至識別成攻擊者指定的目標?，F有構建對抗樣本的方法可以分為以下兩類：基于優化算法和基于進化算法?；趦灮惴ǖ墓舴椒ㄍㄟ^設計一個優化目標函數，通過迭代求出一個符合目標函數的最優解?；谶M化算法的攻擊方法的關鍵則是設計一個種群的適應度函數，通過對預設群體的不斷進化更新，最終找到符合條件的結果。這兩類方法的優點是，不需要獲得目標網絡的梯度信息，可以實現黑盒攻擊；但是其缺點在于生成單個對抗樣本需要大量的時間，這在實時場景中是無法接受的。近年來，也有基于深度學習方法的對抗樣本攻擊方法提出，這類方法將一個受害者模型置于網絡框架種訓練，最終使用訓練好的模型生成對抗樣本，但這種方法因需要對每個目標標簽訓練一個模型而導致效率不高，并且網絡僅能針對某個特定的受害模型，生成的對抗樣本的質量不高。

當前語音關鍵詞分類網絡的研究中，分為：一、使用遺傳算法攻擊谷歌提出的語音關鍵詞分類網絡；二、使用生成對抗網絡生成對抗擾動，然后添加到語音中生成對抗樣本，攻擊了在關鍵詞分類問題中性能很好的分類器。

方法一通過大量的迭代的方式求對抗樣本，需要耗費大量的時間和計算機資源，而方法二需要針對每個目標都訓練一個生成器，這導致在訓練和使用時，效率都很低。此外，該方法生成的對抗樣本語音質量也不高。

發明內容

本發明要解決的技術問題就是克服以上的技術缺陷，提供一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，通過分析損失權重與生成對抗樣本語音質量的關系，從而選擇了一組恰當的權重。此外，為了提高生成對抗樣本的可轉移性，即保證其能在一定程度上攻擊未知模型，提出了一種模型集成的方法。當模型訓練完成后，提出的方法能夠滿足實時攻擊的場景，并且生成的對抗樣本在可轉移性和質量都有很大的提升。

為了解決上述問題，本發明的技術方案為：一種針對語音關鍵詞分類網絡的對抗樣本攻擊方法，包括以下步驟：

(1)按照訓練策略選擇訓練數據以及訓練的批大小的目標標簽；

(2)將數據以及標簽輸入到生成器G中，生成對抗擾動，并且構建相應的對抗樣本；

(3)將生成的對抗樣本分別輸入到判別器D和目標受害模型，得到相應的損失，并且計算相應的損失，更新網絡的參數；

(4)重復步驟(1)至步驟(4)，直到滿足訓練的停止條件，最終得到訓練好的模型；

(5)模型使用，加載模型參數，輸入語音樣本以及目標標簽，即可快速的生成對抗樣本。

進一步，所述步驟(1)中的目標標簽由標簽標量轉化為標簽向量的公式如下：