[發明專利]一種基于聲譜圖的聲紋識別集成模型的防御方法及防御裝置

有效

• 申請號: 202010105807.7
• 申請日: 2020-02-20
• 公開（公告）號: CN111310836B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 陳晉音;葉林輝;王雪柯;鄭喆
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06N3/006;G10L17/00;G10L17/04;G10L17/06
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

本發明公開了一種基于聲譜圖的聲紋識別集成模型的防御方法，包括：(1)采集音頻文件，并對音頻文件轉化為聲譜圖，該聲譜圖作為良性樣本；(2)利用良性樣本訓練多個聲紋識別模型，獲得訓練好的多個聲紋識別模型；(3)采用投票機制從訓練好的多個聲紋識別模型從篩選獲得較優的多個聲紋識別模型進行集成，形成聲紋識別集成模型，利用良性樣本重新訓練聲紋識別集成模型；(4)采集布谷鳥搜索算法分別攻擊多個聲紋識別模型，生成對抗樣本；(5)利用對抗樣本和良性樣本對步驟(3)獲得的聲紋識別集成模型進行再訓練，獲得能夠抵抗攻擊的聲紋識別集成模型；(6)利用步驟(5)獲得的聲紋識別集成模型對音頻文件對應的聲譜圖進行防御識別。

技術領域

本發明屬于信息安全研究領域，具體涉及一種基于聲譜圖的聲紋識別集成模型的防御方法及防御裝置。

背景技術

由于每個人的發聲器官—舌，牙齒，肺等在尺寸和形態上存在很大差異，因此每個人說話的聲音都不同，其聲譜圖都存在差異，實際上就是每個人的聲音都帶有獨特的身份信息，聲紋識別就是利用了聲音的這一特性來識別說話人的身份。聲紋識別是生物識別技術的一種，分為文本相關和文本無關的聲紋識別。文本無關的聲紋識別：指聲紋識別系統對于語音文本內容是沒有任何要求，說話人的說話內容比較自由隨意。文本相關的聲紋識別：指說話人識別系統，要求用戶必須按照事先指定的內容進行發音。文本相關聲紋識別模型要求用戶按照規定的文本發音，一旦用戶的發音有誤就會造成身份無法識別的情況，應用面較窄。文本無關的聲紋識別模型對用戶的發聲內容沒有要求，識別方便，其應用面較為廣泛，但實現難度較高。

深度神經網絡可以充分利用語音特征之間的關聯性，將連續幀的語音特征合并后進行訓練，使聲紋識別系統的識別率大幅度提高?；谏疃壬窠浘W絡的聲紋識別系統在提高識別準確率為人們帶來便利的同時，也帶來了相應的風險。深度神經網絡容易受到對輸入數據添加細微擾動形式的對抗攻擊，攻擊者在獲得某一目標說話人的特征后，可以給某個說話人音頻添加精心計算的擾動，使得生成的對抗樣本被聲紋識別模型錯誤的識別為目標說話人，這給聲紋識別系統以及個人的財產安全帶來了極大的安全隱患。

已有的聲紋識別攻擊方法主要分為白盒和黑盒攻擊。白盒攻擊是攻擊者在已知模型內部參數的情況下進行的，通過反向傳播計算模型關于噪聲的梯度，通過迭代不斷優化所要添加的噪聲，以達到生成對抗樣本的目的。黑盒攻擊是攻擊者在未知模型參數的情況下進行的，可以利用遺傳算法、粒子群算法等優化算法優化所需要添加的擾動，從而生成對抗樣本。白盒攻擊和黑盒攻擊都可以對聲紋識別系統進行攻擊，使聲紋識別系統錯誤的將對抗樣本識別為目標說話人。

發明內容

針對目前聲紋識別系統存在精度不高，魯棒性差，容易受到對抗樣本攻擊的安全性問題，本發明提供了一種基于聲譜圖的聲紋識別集成模型的防御方法及防御裝置，該防御方法及防御裝置可以提高聲紋識別的精度及魯棒性，并抵御對抗樣本的攻擊，提高了聲紋勢識別的安全性。

本發明的技術方案為：

一種基于聲譜圖的聲紋識別集成模型的防御方法，包括以下步驟：

(1)采集音頻文件，并將音頻文件轉化為聲譜圖，該聲譜圖作為良性樣本；

(2)利用良性樣本訓練多個圖像識別模型，使圖像識別模型達到聲紋識別的效果，從而獲得訓練好的多個基于圖像的聲紋識別模型；

(3)采用投票機制將步驟(2)中訓練好的多個基于圖像的聲紋識別模型進行集成，形成聲紋識別集成模型，利用良性樣本重新訓練聲紋識別集成模型；

(4)采集布谷鳥搜索算法分別攻擊多個聲紋識別模型，生成對抗樣本，并將對抗樣本轉化為聲譜圖，作為惡性樣本；

(5)利用惡性樣本和良性樣本對步驟(3)獲得的基于圖像的的聲紋識別集成模型進行再訓練，獲得能夠抵抗攻擊的聲紋識別集成模型；

(6)利用步驟(5)獲得的聲紋識別集成模型對音頻文件對應的聲譜圖進行防御識別。