[發(fā)明專利]一種基于多任務(wù)學(xué)習(xí)和對(duì)抗訓(xùn)練的聲紋識(shí)別模型訓(xùn)練方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111423927.2
• 申請(qǐng)日: 2021-11-26
• 公開（公告）號(hào): CN114171031A
• 公開（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 陳穎璇;賴蔚蔚;鄭穎龍;吳廣財(cái);周昉昉;葉杭;鄭杰生;林嘉鑫;朱泰鵬;黃彬系;黃愷彤;劉銘傳;黃宏恩
• 申請(qǐng)（專利權(quán)）人: 廣東電力信息科技有限公司
• 主分類號(hào): G10L17/02
• 分類號(hào): G10L17/02;G10L17/04
• 代理公司: 深圳市智圈知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44351
• 代理人: 林炮勤

1.一種基于多任務(wù)學(xué)習(xí)和對(duì)抗訓(xùn)練的聲紋識(shí)別模型訓(xùn)練方法，其特征在于，所述方法包括：

獲取待訓(xùn)練的音頻樣本集，所述音頻樣本集中的每個(gè)音頻樣本標(biāo)注有用戶標(biāo)簽以及領(lǐng)域標(biāo)簽，所述用戶標(biāo)簽用于表征所述音頻樣本中說話人的身份，所述領(lǐng)域標(biāo)簽用于表征所述音頻樣本中說話人所處場景的場景類型；

獲取所述每個(gè)音頻樣本的人聲聲紋特征以及領(lǐng)域特征，所述領(lǐng)域特征用于表征所述每個(gè)音頻樣本中說話人所處場景的場景特征；

從所述人聲聲紋特征中過濾掉所述領(lǐng)域特征，得到過濾后的人聲聲紋特征作為人聲通用特征；

基于所述每個(gè)音頻樣本的所述人聲通用特征、所述用戶標(biāo)簽以及所述領(lǐng)域標(biāo)簽，對(duì)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至所述對(duì)抗網(wǎng)絡(luò)滿足預(yù)設(shè)條件，得到訓(xùn)練后的聲紋識(shí)別模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述人聲聲紋特征為人聲特征向量，所述領(lǐng)域特征為領(lǐng)域特征向量，所述從所述人聲聲紋特征中過濾掉所述領(lǐng)域特征，得到過濾后的人聲聲紋特征作為人聲通用特征，包括：

獲取所述人聲特征向量與所述領(lǐng)域特征向量的差值，作為所述人聲通用特征。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)抗網(wǎng)絡(luò)包括用戶判別網(wǎng)絡(luò)以及領(lǐng)域判別網(wǎng)絡(luò)，所述用戶標(biāo)簽為第一用戶標(biāo)簽，所述領(lǐng)域標(biāo)簽為第一領(lǐng)域標(biāo)簽，所述基于所述每個(gè)音頻樣本的所述人聲通用特征、所述用戶標(biāo)簽以及所述領(lǐng)域標(biāo)簽，對(duì)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至所述對(duì)抗網(wǎng)絡(luò)滿足預(yù)設(shè)條件，得到訓(xùn)練后聲紋識(shí)別模型，包括：

將所述每個(gè)音頻樣本的所述人聲通用特征輸入至所述領(lǐng)域判別網(wǎng)絡(luò)，得到第二領(lǐng)域標(biāo)簽；

將所述每個(gè)音頻樣本的所述人聲通用特征輸入至所述用戶判別網(wǎng)絡(luò)，得到第二用戶標(biāo)簽；

基于所述第一用戶標(biāo)簽、所述第二用戶標(biāo)簽、所述第一領(lǐng)域標(biāo)簽以及所述第二領(lǐng)域標(biāo)簽，獲取所述對(duì)抗網(wǎng)絡(luò)的總損失值，并根據(jù)所述總損失值對(duì)所述對(duì)抗網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，直至所述對(duì)抗網(wǎng)絡(luò)滿足預(yù)設(shè)條件，將訓(xùn)練后的所述用戶判別網(wǎng)絡(luò)作為聲紋識(shí)別模型。

4.根據(jù)權(quán)利要求3所述的方法，所述基于所述第一用戶標(biāo)簽、所述第二用戶標(biāo)簽、所述第一領(lǐng)域標(biāo)簽以及所述第二領(lǐng)域標(biāo)簽，獲取所述對(duì)抗網(wǎng)絡(luò)的總損失值，包括：

根據(jù)所述第一用戶標(biāo)簽與所述第二用戶標(biāo)簽之間的差異，確定第一損失值；

根據(jù)所述第一領(lǐng)域標(biāo)簽與所述第二領(lǐng)域標(biāo)簽之間的差異，確定第二損失值；

獲取所述第一損失值與所述第二損失值的和值，作為第一和值；

根據(jù)所述第一和值確定所述總損失值。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述第一和值確定所述總損失值，包括：

獲取每個(gè)音頻樣本的領(lǐng)域特征中包含的總信息量；

獲取所述總信息量與所述第一和值的和值，作為所述總損失值。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，獲取所述第一損失值，包括：

其中，L_spk為所述第一損失值，L_CE為交叉熵?fù)p失函數(shù)，f_i為第i個(gè)輸入的所述音頻樣本得到的人聲通用特征，為第i個(gè)輸入的所述音頻樣本所屬的第一用戶標(biāo)簽，M表征所述音頻樣本集中包含M個(gè)說話人的音頻樣本，M為大于1的正整數(shù)，i為不小于1且不大于M的正整數(shù)。

7.根據(jù)權(quán)利要求4所述的方法，其特征在于，獲取所述第二損失值，包括：

其中，L_domain為所述第二損失值，L_CE代表交叉熵?fù)p失函數(shù)，f_i表示第i個(gè)輸入的所述音頻樣本得到的人聲通用特征，M代表所述音頻樣本集中包含M個(gè)說話人的音頻樣本，M為大于1的正整數(shù)，i為不小于1且不大于M的正整數(shù)，表示第i個(gè)輸入音頻樣本所述的第一領(lǐng)域標(biāo)簽。