[發明專利]基于StarGAN的語音識別模型的防御方法

有效

• 申請號: 202011172485.4
• 申請日: 2020-10-28
• 公開（公告）號: CN112349281B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 陳晉音;葉林輝
• 申請（專利權）人: 浙江工業大學
• 主分類號: G10L15/20
• 分類號: G10L15/20;G10L15/16;G10L15/06;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

本發明公開了一種基于StarGAN的語音識別模型的防御方法，包括：構建包含生成器、判別器以及分類器的StarGAN模型；構建包括對抗損失函數、分類損失函數，循環一致損失函數的損失函數；以訓損失函數最小為目標對StarGAN模型進行訓練；語音識別過程中，利用訓練好的分類器對原始音頻進行分類，當分類結果為正常音頻時，直接利用語音識別模型對原始音頻進行語音識別，獲得語音識別結果；當分類結果不為正常音頻時，利用生成器對原始音頻生成符合給定的正常音頻屬性的生成音頻，再利用語音識別模型對生成音頻進行語音識別，獲得語音識別結果。以解決語音識別模型容易受到對抗攻擊的問題，進而提高識別精度和魯棒性。

技術領域

本發明屬于深度學習算法及信息安全研究領域。具體設計一種基于StarGAN的語音識別模型的防御方法。

背景技術

隨著技術的發展，語音識別已在手機移動端，自動駕駛，智能家居等領域有了各種應用。如在移動端，隨著語音識別算法、模型、自適應性等的加強，語音識別系統已經在移動端得到了廣泛的應用，如蘋果的Siri，微軟的小娜，小米的小愛等產品已經實現了商品化。在自動駕駛領域，語音識別系統使駕駛者將注意力集中于汽車的駕駛中，駕駛者通過語音命令就可以控制汽車內的各種功能。如蔚來車載語音識別系統，可以通過語音命令控制座椅的加熱、座椅的通風，空調的溫度，遮陽簾的開啟與關閉等；在智能家居領域，海爾，長虹，TCL等企業已經推出了自己的智能電視，海爾空調更是推出了語音遙控器，用戶只需要對語音遙控器說話，遙控器就可以進行識別，實現空調的自動開關機，調溫等操作。

近些年來，深度學習的發展給語音識別模型的訓練帶來了便捷，同時也提高了語音識別模型的識別精度。雖然深度學習簡化了模型的訓練，也提高了語音識別模型的識別精度，但是深度學習也給語音識別模型帶來了潛在的安全風險。最近有研究表明，深度學習模型容易受到對輸入數據進行添加精心設計過的擾動的對抗攻擊，在這種攻擊下，模型無法輸出正確的預測結果。在一些語音識別的場景下，會早成巨大的危險。如在自動駕駛領域，若車載語音識別系統收到對抗攻擊，車載語音識別系統將會錯誤的識別乘客的指令，若將乘客的“stop”指令識別為“go”時就有可能給汽車帶來危險。

目前已經有一些對于語音識別系統的對抗攻擊方法，主要分為白盒攻擊和黑盒攻擊。白盒攻擊是在已知模型參數的前提下進行的，可以利用快速梯度符號法(FGSM)，DeepFool，PGD(Project Gradient Descent)等方法對語音識別模型進行攻擊。黑盒攻擊是在未知模型參數的前提下進行的，可以利用一些啟發式算法對語音識別模型進行攻擊，如遺傳算法(GA)，粒子群算法(PSO)，布谷鳥搜索算法(CS)等。

針對以上這些白盒攻擊和黑盒攻擊，現有的語音識別模型并不能對其進行很好的防御，會造成極大的安全隱患，因此，迫切地需要一種能夠防御對抗攻擊的語音識別方法。

發明內容

本發明的目的是提供一種基于StarGAN的語音識別模型的防御方法，以解決現有語音識別模型容易受到對抗攻擊的問題，進而提高語音識別系統的識別精度和魯棒性。

為實現上述發明目的，本發明提供以下技術方案：

一種基于StarGAN的語音識別模型的防御方法，包括以下步驟：

構建StarGAN模型，所述StarGAN模型包括均由卷積神經網絡構成的生成器、判別器以及分類器，所述生成器用于根據輸入音頻樣本生成具有給定屬性的生成音頻，所述判別器用于判別輸入音頻在給定屬性下的真偽，所述分類器用于分類輸入音頻的分類置信度；

構建StarGAN模型的訓練損失函數，損失函數包括對抗損失函數、分類損失函數，循環一致損失函數，其中，所述對抗損失函數用來提升生成器和判別器的性能，使生成音頻仍符合給定屬性下的音頻數據分布，所述分類損失函數用于使生成器生成多類別的生成音頻以及分類器分類性能的提升，所述循環一致性損失用于保留音頻的語音信息以及生成器的多樣性，即避免生成器將輸入音頻映射為對抗音頻和正常音頻中的某一個而失效；