[發(fā)明專利]一種聲紋識別對抗樣本生成方法

在審

• 申請?zhí)枺?/td>: 202211223078.0
• 申請日: 2022-10-08
• 公開（公告）號: CN115620730A
• 公開（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 顧釗銓;張鈞建;王樂;譚昊;張登輝;唐可可
• 申請（專利權(quán)）人: 廣州大學(xué)
• 主分類號: G10L17/02
• 分類號: G10L17/02;G10L17/04;G10L17/18;H04L9/00;G06N20/00
• 代理公司: 北京高航知識產(chǎn)權(quán)代理有限公司 11530
• 代理人: 覃釗雄

1.一種聲紋識別對抗樣本生成方法，其特征在于，包括以下步驟：

第一步：目標(biāo)說話人生成器生成目標(biāo)說話人集合，分別在已有的聲紋識別模型上計(jì)算出原始攻擊樣本和所有注冊人的音頻樣本的說話人特征；

第二步：計(jì)算篩選出在各個(gè)模型下與原始攻擊樣本間的歐氏距離最小的注冊人，作為最優(yōu)目標(biāo)；

第三步：各個(gè)模型下每出現(xiàn)一次相同的最優(yōu)目標(biāo)，則該目標(biāo)的優(yōu)先級提高一級，最終得到一個(gè)按優(yōu)先級由高到低排序的目標(biāo)說話人名單作為接下來攻擊的目標(biāo)說話人；

第四步：對抗樣本生成器生成對抗樣本，選取優(yōu)先級最高的目標(biāo)說話人，建立并計(jì)算在每個(gè)聲紋識別模型上原始攻擊樣本相對目標(biāo)說話人的損失函數(shù)，計(jì)算每個(gè)損失函數(shù)的梯度；

第五步：根據(jù)梯度計(jì)算在樣本上加的擾動(dòng)；

第六步：循環(huán)第四步以及第五步，循環(huán)次數(shù)為超參數(shù)，人為設(shè)定；

第七步：得到一個(gè)對抗樣本，將對抗樣本輸入到目標(biāo)黑盒模型中，進(jìn)行判斷，攻擊成功則停止攻擊，攻擊失敗則將目標(biāo)說話人換為次優(yōu)先級的目標(biāo)說話人進(jìn)行第四步至第六步，直到攻擊成功或者目標(biāo)說話人名單全部攻擊一遍后結(jié)束攻擊。

2.根據(jù)權(quán)利要求1所述的一種聲紋識別對抗樣本生成方法，其特征在于：所述第七步中被識別為注冊集中的說話人即為攻擊成功。

3.根據(jù)權(quán)利要求1所述的一種聲紋識別對抗樣本生成方法，其特征在于：所述第一步中的已有的聲紋識別模型包括但不限于i-vector、d-vector、x-vector、r-vector模型。

4.根據(jù)權(quán)利要求1所述的一種聲紋識別對抗樣本生成方法，其特征在于：所述第一步中的目標(biāo)說話人生成器包括以下內(nèi)容：

步驟1:輸入原始攻擊樣本，加載各個(gè)聲紋識別模型；

步驟2:計(jì)算出原始攻擊樣本和注冊人的音頻樣本在各個(gè)模型M1、M2、M3...Mn的說話人特征:

E_M1＝{e_x，e₁，e₂，e₃...e_i}，E_M2＝{e_x，e₁，e₂，e₃...e_i}...

步驟3：計(jì)算不同模型下原始攻擊樣本的說話人特征到各個(gè)注冊人的說話人特征的歐氏距離，如在模型M1中：

D_M1＝{d₁，d₂，d₃...d_i}，其中d_i＝d(e_x，e_i)

步驟4：取每個(gè)模型下D_Mn中的最小距離d_t，記錄下該說話人編號t，并記錄該說話人編號出現(xiàn)的次數(shù)。

步驟5：按照出現(xiàn)次數(shù)從大到小排列說話人，生成目標(biāo)說話人集合：

Y^target＝{y_a，y_b，y_c..}。