[發明專利]面向自動聲紋識別系統的黑盒定向對抗攻擊方法及系統

有效

• 申請號: 202110411559.3
• 申請日: 2021-04-16
• 公開（公告）號: CN113113023B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 孫蒙;張星昱;張雄偉;鄒霞;賈沖;李莉;康凱;王彬
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G10L17/00
• 分類號: G10L17/00;G10L17/18;G06N3/126
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 何春廷

本發明公開了一種面向自動聲紋識別系統的黑盒定向對抗攻擊方法及系統，包括：根據不同的說話人識別任務確定對應的損失函數；將源說話人的語音、需要被攻擊的說話人識別模型、采樣點個數、對抗樣本生成算法的初始參數以及對應的損失函數，輸入到對抗樣本生成算法，生成語音擾動；將語音擾動添加到源說話人語音上生成對抗樣本。優點：不需要獲取說話人識別系統神經網絡的結構信息和內部梯度信息，只需要獲取說話人識別系統輸出的識別結果及打分；只在部分語音采樣點上添加對抗樣本擾動，可以避免在靜音段添加擾動，從而影響對抗樣本的不可感知性；避免了倒譜特征轉換回語音波形時產生的信息損失，從而避免了語音質量的下降。

技術領域

本發明涉及一種面向自動聲紋識別系統的黑盒定向對抗攻擊方法及系統，屬于語音信號處理和信息安全技術領域。

背景技術

說話人識別是一種從話語的特征中辨認說話人身份的技術。經過了幾十年的發展，語音交互系統和身份認證系統中已經廣泛應用到了說話人識別技術，諸如：智能手機，汽車導航系統，電子銀行認證等等。然而，最近的研究表明，一個訓練好的說話人識別系統可能會被惡意攻擊欺騙。攻擊說話人識別系統的方法包括模仿、回放、語音合成和語音轉換。作為攻擊者，其期望是這些電子偽裝語音和假冒語音能夠聽起來和被攻擊具有敏感性者的語音盡可能相似。另一方面，已經有一些研究表明，機器學習模型易受所謂“對抗樣本”的攻擊。這表明某些能夠實現對機器學習模型攻擊的信息可能隱藏在對抗樣本之中。因此可以利用對抗樣本的這種信息隱藏能力來隱藏說話人的身份信息。盡管對抗樣本攻擊在圖像分類任務和語音識別任務中都已經有了成功的黑盒和白盒的應用，但是在說話人識別領域關于對抗樣本的研究剛剛起步。

對抗攻擊通常都通過對抗樣本進行實施，對抗樣本的主要作用是通過向源語音中添加擾動，以此引起說話人系統產生誤分類。對抗樣本首先由Szegedy等人在計算機視覺領域提出，Szegedy等人通過對抗樣本以很高的概率欺騙了最先進的深度神經網絡。然而，說話人識別領域的對抗攻擊和計算機視覺分類任務領域的對抗攻擊有所不同。說話人識別領域包括三種任務，說話人確認(Speaker?Verification,SV)，開集說話人辨認(Open-setSpeaker?Identification,OSI)和閉集說話人辨認(Close-set?Speaker?Identification,CSI)。說話人識別領域的對抗攻擊，只要是根據源說話人的語音，從而制造出能夠被系統錯誤辨認的語音樣本。有目標攻擊指的是將說話人識別系統欺騙，從而將對抗樣本認定為特定的標簽。制造對抗樣本的通常方法是在源語音中添加少量微弱的訓練好的加性擾動，攻擊者期望該擾動盡可能不被人類感知到，在添加擾動之后，使系統產生誤分類。

之前在說話人識別領域，大部分的工作都是在全部的語音采樣點上添加擾動從而實現攻擊的。這樣做存在的主要問題有：

1.可能會導致添加過度的擾動，從而被人類感知和察覺到。

2.在全部的采樣點上添加擾動，雖然可能能夠得到很高的攻擊成功率，但是會引入較為明顯的持續不斷的背景噪聲。人們在第一次聽到這種噪聲的時候可能不會感覺到異樣，但是在多次感知之后就會察覺到明顯的背景噪音。

發明內容

本發明所要解決的技術問題是克服現有技術的缺陷，提供一種面向自動聲紋識別系統的黑盒定向對抗攻擊方法及系統。

為解決上述技術問題，本發明提供一種面向自動聲紋識別系統的黑盒定向對抗攻擊方法，包括：

獲取待處理的源說話人的語音、需要被攻擊的說話人識別模型、源說話人的語音中需要添加語音擾動的采樣點個數、對抗樣本生成算法的初始參數；

根據不同的說話人識別任務確定對應的損失函數；

將源說話人的語音、需要被攻擊的說話人識別模型、采樣點個數、對抗樣本生成算法的初始參數以及對應的損失函數，輸入到對抗樣本生成算法，生成語音擾動；

將語音擾動添加到源說話人語音上生成對抗樣本。