[發(fā)明專利]一種基于多任務(wù)學(xué)習(xí)和對(duì)抗訓(xùn)練的聲紋識(shí)別模型訓(xùn)練方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111423927.2
• 申請(qǐng)日: 2021-11-26
• 公開(kāi)（公告）號(hào): CN114171031A
• 公開(kāi)（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 陳穎璇;賴蔚蔚;鄭穎龍;吳廣財(cái);周昉昉;葉杭;鄭杰生;林嘉鑫;朱泰鵬;黃彬系;黃愷彤;劉銘傳;黃宏恩
• 申請(qǐng)（專利權(quán)）人: 廣東電力信息科技有限公司
• 主分類號(hào): G10L17/02
• 分類號(hào): G10L17/02;G10L17/04
• 代理公司: 深圳市智圈知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44351
• 代理人: 林炮勤

本申請(qǐng)公開(kāi)了一種基于多任務(wù)學(xué)習(xí)和對(duì)抗訓(xùn)練的聲紋識(shí)別模型訓(xùn)練方法，涉及聲紋技術(shù)領(lǐng)域。該方法包括：獲取待訓(xùn)練的音頻樣本集，音頻樣本集中的每個(gè)音頻樣本標(biāo)注有用戶標(biāo)簽以及領(lǐng)域標(biāo)簽；獲取每個(gè)音頻樣本的人聲聲紋特征以及領(lǐng)域特征；從人聲聲紋特征中過(guò)濾掉領(lǐng)域特征，得到過(guò)濾后的人聲聲紋特征作為人聲通用特征；基于每個(gè)音頻樣本的人聲通用特征、用戶標(biāo)簽以及領(lǐng)域標(biāo)簽，對(duì)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至對(duì)抗網(wǎng)絡(luò)滿足預(yù)設(shè)條件，得到訓(xùn)練后的聲紋識(shí)別模型。如此，采用了領(lǐng)域?qū)褂?xùn)練的方式，增強(qiáng)了訓(xùn)練得到的聲紋識(shí)別模型在不同環(huán)境下的魯棒性和泛化能力，進(jìn)而提高了聲紋識(shí)別模型在面對(duì)環(huán)境噪聲時(shí)的識(shí)別準(zhǔn)確率，提高了用戶體驗(yàn)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及聲紋技術(shù)領(lǐng)域，更具體地，涉及一種基于多任務(wù)學(xué)習(xí)和對(duì)抗訓(xùn)練的聲紋識(shí)別模型訓(xùn)練方法。

背景技術(shù)

聲紋識(shí)別技術(shù)一種生物識(shí)別技術(shù)，通過(guò)語(yǔ)音來(lái)識(shí)別說(shuō)話人身份的。聲紋識(shí)別技術(shù)在多場(chǎng)景有所應(yīng)用，如電話，手機(jī)，應(yīng)用程序，門禁系統(tǒng)，智能音響，機(jī)器人等。

在相關(guān)技術(shù)中，一般是將說(shuō)話人發(fā)出的語(yǔ)音輸入至預(yù)先訓(xùn)練好的聲紋識(shí)別模型中，由聲紋識(shí)別模型來(lái)識(shí)別說(shuō)話人的身份。但是，在實(shí)際應(yīng)用場(chǎng)景中可能受到環(huán)境噪聲等外界因素的影響，進(jìn)而導(dǎo)致聲紋識(shí)別模型的識(shí)別準(zhǔn)確率降低，降低了用戶體驗(yàn)。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)岢隽艘环N基于多任務(wù)學(xué)習(xí)和對(duì)抗訓(xùn)練的聲紋識(shí)別模型訓(xùn)練方法。

第一方面，本申請(qǐng)實(shí)施例提供了一種基于多任務(wù)學(xué)習(xí)和對(duì)抗訓(xùn)練的聲紋識(shí)別模型訓(xùn)練方法，所述方法包括：獲取待訓(xùn)練的音頻樣本集，所述音頻樣本集中的每個(gè)音頻樣本標(biāo)注有用戶標(biāo)簽以及領(lǐng)域標(biāo)簽，所述用戶標(biāo)簽用于表征所述音頻樣本中說(shuō)話人的身份，所述領(lǐng)域標(biāo)簽用于表征所述音頻樣本中說(shuō)話人所處場(chǎng)景的場(chǎng)景類型；獲取所述每個(gè)音頻樣本的人聲聲紋特征以及領(lǐng)域特征，所述領(lǐng)域特征用于表征所述每個(gè)音頻樣本中說(shuō)話人所處場(chǎng)景的場(chǎng)景特征；從所述人聲聲紋特征中過(guò)濾掉所述領(lǐng)域特征，得到過(guò)濾后的人聲聲紋特征作為人聲通用特征；基于所述每個(gè)音頻樣本的所述人聲通用特征、所述用戶標(biāo)簽以及所述領(lǐng)域標(biāo)簽，對(duì)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至所述對(duì)抗網(wǎng)絡(luò)滿足預(yù)設(shè)條件，得到訓(xùn)練后的聲紋識(shí)別模型。

本申請(qǐng)?zhí)峁┑姆桨钢校@取待訓(xùn)練的音頻樣本集，其中，音頻樣本集中的每個(gè)音頻樣本標(biāo)注有用戶標(biāo)簽以及領(lǐng)域標(biāo)簽；獲取每個(gè)音頻樣本的人聲聲紋特征以及領(lǐng)域特征；從人聲聲紋特征中過(guò)濾掉領(lǐng)域特征，得到過(guò)濾后的人聲聲紋特征作為人聲通用特征；基于每個(gè)音頻樣本的人聲通用特征、用戶標(biāo)簽以及領(lǐng)域標(biāo)簽，對(duì)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至對(duì)抗網(wǎng)絡(luò)滿足預(yù)設(shè)條件，得到訓(xùn)練后的聲紋識(shí)別模型。如此，在模型訓(xùn)練階段，除了原有的用戶標(biāo)簽外，加入了領(lǐng)域標(biāo)簽，在學(xué)習(xí)說(shuō)話人的人聲聲紋特征的同時(shí)，也學(xué)習(xí)了領(lǐng)域特征，即采用了領(lǐng)域?qū)褂?xùn)練的方式，增強(qiáng)了聲紋識(shí)別模型的魯棒性和泛化能力；并且，從人聲聲紋特征中過(guò)濾掉了領(lǐng)域特征，得到人聲通用特征，由于人聲通用特征與領(lǐng)域不相關(guān)，進(jìn)一步可以提高訓(xùn)練得到的聲紋識(shí)別模型在不同環(huán)境下的魯棒性，進(jìn)而提高了聲紋識(shí)別模型在面對(duì)環(huán)境噪聲時(shí)的識(shí)別準(zhǔn)確率，提高了用戶體驗(yàn)。

附圖說(shuō)明

為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1示出了本申請(qǐng)一實(shí)施例提供的基于多任務(wù)學(xué)習(xí)和對(duì)抗訓(xùn)練的聲紋識(shí)別模型訓(xùn)練方法的流程示意圖。

圖2示出了本申請(qǐng)另一實(shí)施例提供的基于多任務(wù)學(xué)習(xí)和對(duì)抗訓(xùn)練的聲紋識(shí)別模型訓(xùn)練方法的流程示意圖。

圖3示出了圖2中步驟S260在一種實(shí)施方式中的子步驟流程示意圖。

圖4示出了圖3中步驟S264在一種實(shí)施方式中的子步驟流程示意圖。

圖5示出了本申請(qǐng)又一實(shí)施例提供的基于多任務(wù)學(xué)習(xí)和對(duì)抗訓(xùn)練的聲紋識(shí)別模型訓(xùn)練方法的流程示意圖。