[發(fā)明專利]對抗域自適應(yīng)模型訓(xùn)練方法及對抗域自適應(yīng)模型

在審

• 申請?zhí)枺?/td>: 202010700632.4
• 申請日: 2020-07-20
• 公開（公告）號: CN111797844A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計）人: 錢彥旻;陳正陽;王帥
• 申請（專利權(quán)）人: 蘇州思必馳信息科技有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/08
• 代理公司: 北京商專永信知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11400
• 代理人: 黃謙;車江華

本發(fā)明公開一種對抗域自適應(yīng)模型訓(xùn)練方法，所述對抗域自適應(yīng)模型包括源域嵌入提取器、說話者判別器、目標(biāo)域嵌入提取器和域判別器，所述方法包括：S10、配置所述源域嵌入提取器和所述目標(biāo)域嵌入提取器之間共享部分層的參數(shù)；S20、將有標(biāo)注的源域訓(xùn)練數(shù)據(jù)輸入至所述源域嵌入提取器，所述源域嵌入提取器的輸出輸入至所述說話者判別器，得到說話者損失；S30、將無標(biāo)注的目標(biāo)域訓(xùn)練數(shù)據(jù)輸入至所述目標(biāo)域嵌入提取器，所述目標(biāo)域提取器的輸出和所述源域嵌入提取器的輸出輸入至所述域判別器，得到Wasserstein損失。在本發(fā)明提出的方法中，源域和目標(biāo)域的特征提取器并不是完全相同的。這樣特征提取器不同的參數(shù)部分可以解決主任務(wù)和域?qū)褂?xùn)練任務(wù)之間的沖突問題。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種對抗域自適應(yīng)模型訓(xùn)練方法及對抗域自適應(yīng)模型。

背景技術(shù)

自從提出基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的說話人嵌入以來，旨在驗證用戶在其語音段中所聲稱的身份的說話人驗證任務(wù)已獲得了顯著改進(jìn)。研究人員已經(jīng)研究了不同的DNN架構(gòu)和不同的損失函數(shù)，以增強(qiáng)基于DNN的說話人嵌入的辨別力。

盡管用于說話人驗證的DNN嵌入成功，但DNN訓(xùn)練通常需要大量帶有說話人標(biāo)簽的經(jīng)過標(biāo)注的數(shù)據(jù)。另一方面，我們知道從一個域訓(xùn)練的模型的性能在應(yīng)用于數(shù)據(jù)分布不相同的不同域時會急劇下降。針對每種應(yīng)用場景訓(xùn)練特定于域的模型是一種幼稚的解決方案，為每個域收集和標(biāo)記數(shù)據(jù)既耗時又非常昂貴。因此，有必要找到一種有效的方法，以將經(jīng)過良好標(biāo)記的源域數(shù)據(jù)集訓(xùn)練的現(xiàn)有模型快速調(diào)整到新的目標(biāo)域，在該目標(biāo)域中，只有弱標(biāo)記或者甚至未標(biāo)記的數(shù)據(jù)可用。

已經(jīng)提出了不同的方法來解決用于說話者驗證的域自適應(yīng)問題，其中最常用的一種方法是利用對抗學(xué)習(xí)使表示域不變，并減少源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間的不匹配。失配可能來自不同的通道，噪聲類型和語言等。現(xiàn)有技術(shù)提出使用通道對抗訓(xùn)練來使說話人嵌入更具通道不變性。但是，在當(dāng)前的大多數(shù)工作中，來自源域和目標(biāo)域的數(shù)據(jù)共享相同的特征提取器。

源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)一般都有著很大的差別，對源域和目標(biāo)域數(shù)據(jù)使用完全相同的特征提取器提取特征，然后在使用對抗訓(xùn)練使得兩者提取的特征分布一致，這會損害主任務(wù)的性能。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種對抗域自適應(yīng)模型訓(xùn)練方法及對抗域自適應(yīng)模型，用于至少解決上述技術(shù)問題之一。

第一方面，本發(fā)明實施例提供一種對抗域自適應(yīng)模型訓(xùn)練方法，所述對抗域自適應(yīng)模型包括源域嵌入提取器、說話者判別器、目標(biāo)域嵌入提取器和域判別器，所述方法包括：

S10、配置所述源域嵌入提取器和所述目標(biāo)域嵌入提取器之間共享部分層的參數(shù)；

S20、將有標(biāo)注的源域訓(xùn)練數(shù)據(jù)輸入至所述源域嵌入提取器，所述源域嵌入提取器的輸出輸入至所述說話者判別器，得到說話者損失；

S30、將無標(biāo)注的目標(biāo)域訓(xùn)練數(shù)據(jù)輸入至所述目標(biāo)域嵌入提取器，所述目標(biāo)域提取器的輸出和所述源域嵌入提取器的輸出輸入至所述域判別器，得到Wasserstein損失。

第二方面，本發(fā)明實施例提供一種對抗域自適應(yīng)模型，包括：源域嵌入提取器、說話者判別器、目標(biāo)域嵌入提取器和域判別器，其中，

所述源域嵌入提取器和所述目標(biāo)域嵌入提取器之間共享部分層的參數(shù)；

所述源域嵌入提取器用于輸入有標(biāo)注的源域訓(xùn)練數(shù)據(jù)，并與所述說話者判別器的輸入端連接，得到說話者損失；

所述目標(biāo)域嵌入提取器用于無標(biāo)注的目標(biāo)域訓(xùn)練數(shù)據(jù)輸入；

所述域判別器用于接收所述目標(biāo)域提取器的輸出和所述源域嵌入提取器的輸出，以得到Wasserstein損失。

第三方面，提供一種電子設(shè)備，該電子設(shè)備配置有本發(fā)明任一實施例所述的對抗域自適應(yīng)模型。