[發(fā)明專(zhuān)利]語(yǔ)音識(shí)別模型的訓(xùn)練方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210833610.4
• 申請(qǐng)日: 2022-07-14
• 公開(kāi)（公告）號(hào): CN115101061A
• 公開(kāi)（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 付立
• 申請(qǐng)（專(zhuān)利權(quán)）人: 京東科技信息技術(shù)有限公司
• 主分類(lèi)號(hào): G10L15/06
• 分類(lèi)號(hào): G10L15/06;G10L15/16
• 代理公司: 北京律智知識(shí)產(chǎn)權(quán)代理有限公司 11438
• 代理人: 王輝

1.一種語(yǔ)音識(shí)別模型的訓(xùn)練方法，其特征在于，包括：

構(gòu)建初始語(yǔ)音識(shí)別模型；其中，所述初始語(yǔ)音識(shí)別模型包括具有第一初始參數(shù)的第一網(wǎng)絡(luò)和具有第二初始參數(shù)的第二網(wǎng)絡(luò)；

固定所述第二初始參數(shù)，基于無(wú)標(biāo)注數(shù)據(jù)集計(jì)算對(duì)比學(xué)習(xí)損失函數(shù)，并根據(jù)所述對(duì)比學(xué)習(xí)損失函數(shù)對(duì)所述第一網(wǎng)絡(luò)進(jìn)行自監(jiān)督訓(xùn)練，以將所述第一初始參數(shù)調(diào)整為第一中間參數(shù)；

固定所述第一中間參數(shù)，基于有標(biāo)注數(shù)據(jù)集計(jì)算第一聯(lián)合損失函數(shù)，并根據(jù)所述第一聯(lián)合損失函數(shù)對(duì)所述第二網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以將所述第二初始參數(shù)調(diào)整為第二中間參數(shù)；

基于所述有標(biāo)注數(shù)據(jù)集計(jì)算第二聯(lián)合損失函數(shù)，并根據(jù)所述第二聯(lián)合損失函數(shù)對(duì)所述第一網(wǎng)絡(luò)和所述第二網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以調(diào)整所述第一中間參數(shù)和所述第二中間參數(shù)得到目標(biāo)語(yǔ)音識(shí)別模型。

2.根據(jù)權(quán)利要求1所述的語(yǔ)音識(shí)別模型的訓(xùn)練方法，其特征在于，所述第一網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)模塊和卷積增強(qiáng)模塊。

3.根據(jù)權(quán)利要求2所述的語(yǔ)音識(shí)別模型的訓(xùn)練方法，其特征在于，所述基于無(wú)標(biāo)注數(shù)據(jù)集計(jì)算對(duì)比學(xué)習(xí)損失函數(shù)，包括：

基于所述卷積神經(jīng)網(wǎng)絡(luò)模塊計(jì)算所述無(wú)標(biāo)注數(shù)據(jù)集中一音頻樣本數(shù)據(jù)的淺層表示結(jié)果；

對(duì)所述淺層表示結(jié)果進(jìn)行掩碼處理得到掩碼表示結(jié)果，并基于所述卷積增強(qiáng)模塊計(jì)算所述掩碼表示結(jié)果的深層表示結(jié)果；以及

將所述淺層表示結(jié)果進(jìn)行線性變換得到目標(biāo)表示結(jié)果；

基于所述深層表示結(jié)果和所述目標(biāo)表示結(jié)果計(jì)算所述對(duì)比學(xué)習(xí)損失函數(shù)。

4.根據(jù)權(quán)利要求3所述的語(yǔ)音識(shí)別模型的訓(xùn)練方法，其特征在于，所述對(duì)所述淺層表示結(jié)果進(jìn)行掩碼處理得到掩碼表示結(jié)果，包括：

基于隨機(jī)掩碼概率從所述淺層表示結(jié)果中進(jìn)行隨機(jī)選取得到種子樣本幀；

將所述淺層表示結(jié)果中所述種子樣本幀之后的連續(xù)K幀的特征矢量替換為可學(xué)習(xí)向量得到所述掩碼表示結(jié)果，其中K為正整數(shù)。

5.根據(jù)權(quán)利要求3所述的語(yǔ)音識(shí)別模型的訓(xùn)練方法，其特征在于，所述基于所述深層表示結(jié)果和所述目標(biāo)表示結(jié)果計(jì)算所述對(duì)比學(xué)習(xí)損失函數(shù)，包括：

從所述深層表示結(jié)果中的掩碼部分選取M幀錨樣本作為第一樣本，其中M為正整數(shù)；以及

從所述目標(biāo)表示結(jié)果中選取與所述第一樣本中M幀錨樣本一一對(duì)應(yīng)的M幀錨樣本作為第二樣本，以及選取S幀負(fù)樣本作為第三樣本，其中S為正整數(shù)；

基于所述第一樣本和所述第二樣本之間的相似度和所述第一樣本和所述第三樣本之間的相似度計(jì)算所述對(duì)比學(xué)習(xí)損失函數(shù)。

6.根據(jù)權(quán)利要求1所述的語(yǔ)音識(shí)別模型的訓(xùn)練方法，其特征在于，所述第二網(wǎng)絡(luò)包括特征變形模塊。

7.根據(jù)權(quán)利要求1所述的語(yǔ)音識(shí)別模型的訓(xùn)練方法，其特征在于，所述方法還包括：

基于預(yù)設(shè)的音頻采樣率獲取音頻樣本數(shù)據(jù)，并將所述音頻樣本數(shù)據(jù)劃分為第一音頻樣本和第二音頻樣本；

計(jì)算所述第一音頻樣本的音頻特征矩陣以得到所述無(wú)標(biāo)注數(shù)據(jù)集；以及

根據(jù)計(jì)算的所述第二音頻樣本的音頻特征矩陣和獲取的所述第二音頻樣本的文本標(biāo)注結(jié)果得到所述有標(biāo)注數(shù)據(jù)集。

8.一種語(yǔ)音識(shí)別模型的訓(xùn)練裝置，其特征在于，包括：

構(gòu)建模型模塊，用于構(gòu)建初始語(yǔ)音識(shí)別模型；其中，所述初始語(yǔ)音識(shí)別模型包括具有第一初始參數(shù)的第一網(wǎng)絡(luò)和具有第二初始參數(shù)的第二網(wǎng)絡(luò)；

第一訓(xùn)練模塊，用于固定所述第二初始參數(shù)，基于無(wú)標(biāo)注數(shù)據(jù)集計(jì)算對(duì)比學(xué)習(xí)損失函數(shù)，并根據(jù)所述對(duì)比學(xué)習(xí)損失函數(shù)對(duì)所述第一網(wǎng)絡(luò)進(jìn)行自監(jiān)督訓(xùn)練，以將所述第一初始參數(shù)調(diào)整為第一中間參數(shù)；

第二訓(xùn)練模塊，用于固定所述第一中間參數(shù)，基于有標(biāo)注數(shù)據(jù)集計(jì)算第一聯(lián)合損失函數(shù)，并根據(jù)所述第一聯(lián)合損失函數(shù)對(duì)所述第二網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以將所述第二初始參數(shù)調(diào)整為第二中間參數(shù)；

模型調(diào)整模塊，用于基于所述有標(biāo)注數(shù)據(jù)集計(jì)算第二聯(lián)合損失函數(shù)，并根據(jù)所述第二聯(lián)合損失函數(shù)對(duì)所述第一網(wǎng)絡(luò)和所述第二網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以調(diào)整所述第一中間參數(shù)和所述第二中間參數(shù)得到目標(biāo)語(yǔ)音識(shí)別模型。