[發(fā)明專利]情感識(shí)別模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010992862.2
• 申請(qǐng)日: 2020-09-21
• 公開（公告）號(hào): CN111933187B
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 陸昱;彭子軒;劉云峰
• 申請(qǐng)（專利權(quán)）人: 深圳追一科技有限公司
• 主分類號(hào): G10L25/63
• 分類號(hào): G10L25/63;G10L25/30;G06N3/04;G10L15/16;G10L15/06
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 黃晶晶

1.一種情感識(shí)別模型的訓(xùn)練方法，其特征在于，所述方法包括：

獲取通過源模型生成的源音頻的源音頻特征；所述源模型，是根據(jù)攜帶情感類別標(biāo)注的第一領(lǐng)域下的所述源音頻，訓(xùn)練得到的情感識(shí)別模型；

在每輪迭代訓(xùn)練中，通過當(dāng)前的目標(biāo)特征提取網(wǎng)絡(luò)，生成目標(biāo)音頻的目標(biāo)音頻特征；所述目標(biāo)音頻是未攜帶情感類別標(biāo)注的第二領(lǐng)域下的音頻；

將所述目標(biāo)音頻特征和源音頻特征輸入至當(dāng)前的對(duì)抗網(wǎng)絡(luò)，得到對(duì)抗損失；所述對(duì)抗網(wǎng)絡(luò)，用于區(qū)分所述目標(biāo)音頻特征和所述源音頻特征所屬的音頻源；

根據(jù)所述對(duì)抗損失對(duì)所述對(duì)抗網(wǎng)絡(luò)和目標(biāo)特征提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

根據(jù)迭代停止時(shí)的目標(biāo)特征提取網(wǎng)絡(luò)，確定目標(biāo)情感識(shí)別模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述源模型包括源特征提取網(wǎng)絡(luò)和情感分類器；所述源音頻特征，是通過所述源特征提取網(wǎng)絡(luò)生成得到的；

所述目標(biāo)特征提取網(wǎng)絡(luò)與所述源特征提取網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)一致，且首輪迭代訓(xùn)練前的目標(biāo)特征提取網(wǎng)絡(luò)的參數(shù)，與所述源特征提取網(wǎng)絡(luò)的參數(shù)一致；

所述根據(jù)迭代停止時(shí)的目標(biāo)特征提取網(wǎng)絡(luò)，確定目標(biāo)情感識(shí)別模型包括：

根據(jù)所述情感分類器和迭代停止時(shí)的目標(biāo)特征提取網(wǎng)絡(luò)，得到目標(biāo)情感識(shí)別模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取通過源模型生成的源音頻特征包括：

獲取源音頻的源初級(jí)特征；

將所述源初級(jí)特征輸入至所述源特征提取網(wǎng)絡(luò)進(jìn)行特征提取處理，生成源音頻特征；

所述通過當(dāng)前的目標(biāo)特征提取網(wǎng)絡(luò)，生成目標(biāo)音頻的目標(biāo)音頻特征包括：

獲取目標(biāo)音頻的目標(biāo)初級(jí)特征；

將所述目標(biāo)初級(jí)特征輸入至當(dāng)前的目標(biāo)特征提取網(wǎng)絡(luò)進(jìn)行特征提取處理，生成目標(biāo)音頻特征。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于， 所述方法還包括：

按照預(yù)設(shè)分幀長(zhǎng)度和預(yù)設(shè)窗口滑動(dòng)步長(zhǎng)，從所述源音頻或所述目標(biāo)音頻中，提取預(yù)設(shè)數(shù)量的源音頻幀或目標(biāo)音頻幀；

對(duì)各所述源音頻幀或目標(biāo)音頻幀進(jìn)行初級(jí)特征提取處理，得到所述源音頻幀的第一初級(jí)特征或所述目標(biāo)音頻幀的第二初級(jí)特征；

根據(jù)各所述源音頻幀的所述第一初級(jí)特征和所述源音頻幀所對(duì)應(yīng)的時(shí)間，生成二維特征矩陣作為所述源音頻的源初級(jí)特征；或，根據(jù)各所述目標(biāo)音頻幀的所述第二初級(jí)特征和所述目標(biāo)音頻幀所對(duì)應(yīng)的時(shí)間，生成二維特征矩陣作為所述目標(biāo)音頻的目標(biāo)初級(jí)特征。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述按照預(yù)設(shè)分幀長(zhǎng)度和預(yù)設(shè)窗口滑動(dòng)步長(zhǎng)，從所述源音頻或所述目標(biāo)音頻中，提取預(yù)設(shè)數(shù)量的源音頻幀或目標(biāo)音頻幀之前，所述方法還包括：

獲取原始目標(biāo)音頻或原始源音頻；

對(duì)所述原始目標(biāo)音頻或所述原始源音頻進(jìn)行預(yù)處理，得到初始目標(biāo)音頻或初始源音頻；

按照預(yù)設(shè)采樣率，對(duì)所述初始目標(biāo)音頻或初始源音頻進(jìn)行采樣處理，得到目標(biāo)音頻或源音頻。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述源特征提取網(wǎng)絡(luò)為具有預(yù)設(shè)數(shù)量個(gè)卷積層的二維卷積神經(jīng)網(wǎng)絡(luò)；所述源音頻特征為一維的源音頻特征向量；

所述將所述源初級(jí)特征輸入至所述源特征提取網(wǎng)絡(luò)進(jìn)行特征提取處理，生成源音頻特征包括：

將所述源初級(jí)特征輸入至所述源特征提取網(wǎng)絡(luò)中進(jìn)行卷積處理，并將由所述源特征提取網(wǎng)絡(luò)中的前一卷積層進(jìn)行卷積處理所提取的音頻特征，輸入至后一卷積層中進(jìn)行卷積處理；

將最后一層卷積層輸出的音頻特征進(jìn)行平整化處理，生成一維的源音頻特征向量。

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述對(duì)抗損失對(duì)所述對(duì)抗網(wǎng)絡(luò)和目標(biāo)特征提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

當(dāng)針對(duì)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，根據(jù)所述對(duì)抗損失調(diào)整所述對(duì)抗網(wǎng)絡(luò)的參數(shù)，并保持所述當(dāng)前的目標(biāo)特征提取網(wǎng)絡(luò)的參數(shù)不變；

當(dāng)針對(duì)目標(biāo)特征提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，根據(jù)所述對(duì)抗損失調(diào)整所述目標(biāo)特征提取網(wǎng)絡(luò)的參數(shù)，并保持所述當(dāng)前的對(duì)抗網(wǎng)絡(luò)的參數(shù)不變。