[發(fā)明專利]語音識別模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111130120.X
• 申請日: 2021-09-26
• 公開（公告）號: CN113870845A
• 公開（公告）日: 2021-12-31
• 發(fā)明（設(shè)計(jì)）人: 李澤遠(yuǎn);王健宗
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 譚果林

1.一種語音識別模型訓(xùn)練方法，其特征在于，包括：

獲取語音樣本集；所述語音樣本集包括多個(gè)語音樣本；

將所述語音樣本輸入含有初始參數(shù)的初始識別模型；

通過所述初始識別模型對所述語音樣本進(jìn)行音頻增強(qiáng)處理，得到待處理音頻片段；

通過老師網(wǎng)絡(luò)對所述待處理音頻片段進(jìn)行老師聲學(xué)特征提取，得到第一特征向量，同時(shí)通過學(xué)生網(wǎng)絡(luò)對所述待處理音頻片段進(jìn)行學(xué)生聲學(xué)特征提取，得到第二特征向量；其中，所述初始識別模型包括所述老師網(wǎng)絡(luò)和所述學(xué)生網(wǎng)絡(luò)；所述學(xué)生網(wǎng)絡(luò)為對所述老師網(wǎng)絡(luò)進(jìn)行蒸餾學(xué)習(xí)后獲得；

對所述第一特征向量、所述第二特征向量和所述老師網(wǎng)絡(luò)中的動(dòng)態(tài)隊(duì)列進(jìn)行對齊對比處理，得到損失值；

在所述損失值未達(dá)到預(yù)設(shè)的收斂條件時(shí)，迭代更新所述初始識別模型的初始參數(shù)，直至所述損失值達(dá)到所述收斂條件時(shí)，將收斂之后的所述初始識別模型記錄為訓(xùn)練完成的語音識別模型。

2.如權(quán)利要求1所述的語音識別模型訓(xùn)練方法，其特征在于，所述通過老師網(wǎng)絡(luò)對所述待處理音頻片段進(jìn)行老師聲學(xué)特征提取，得到第一特征向量之前，包括：

獲取預(yù)訓(xùn)練樣本集；所述預(yù)訓(xùn)練樣本集包括多個(gè)預(yù)訓(xùn)練樣本；一個(gè)所述預(yù)訓(xùn)練樣本對應(yīng)一個(gè)文本標(biāo)簽；

將所述預(yù)訓(xùn)練樣本輸入含有老師參數(shù)的初始網(wǎng)絡(luò)；所述初始網(wǎng)絡(luò)為基于Bert構(gòu)建的模型；

運(yùn)用Moco訓(xùn)練方法，通過所述初始網(wǎng)絡(luò)對所述預(yù)訓(xùn)練樣本進(jìn)行頻域特征提取，根據(jù)提取的頻域特征進(jìn)行編碼處理，得到待識別特征向量，并將所述待識別特征向量插入至所述初始網(wǎng)絡(luò)中的動(dòng)態(tài)隊(duì)列；

根據(jù)所述待識別特征向量和插入后的所述動(dòng)態(tài)隊(duì)列進(jìn)行文字預(yù)測，得到與所述預(yù)訓(xùn)練樣本對應(yīng)的文本識別結(jié)果；

根據(jù)與所述預(yù)訓(xùn)練樣本對應(yīng)的所述文本標(biāo)簽和所述文本識別結(jié)果，確定出對比損失值；

在所述對比損失值未達(dá)到預(yù)訓(xùn)練收斂條件時(shí)，迭代更新所述初始網(wǎng)絡(luò)的老師參數(shù)，直至所述對比損失值達(dá)到所述預(yù)訓(xùn)練收斂條件時(shí)，將收斂之后的所述初始網(wǎng)絡(luò)記錄為老師網(wǎng)絡(luò)。

3.如權(quán)利要求2所述的語音識別模型訓(xùn)練方法，其特征在于，所述將收斂之后的所述初始網(wǎng)絡(luò)記錄為老師網(wǎng)絡(luò)之后，包括：

運(yùn)用蒸餾學(xué)習(xí)方法，對所述老師網(wǎng)絡(luò)中的各層進(jìn)行隔層蒸餾處理，得到蒸餾層；

將所有所述蒸餾層進(jìn)行結(jié)構(gòu)拼接，以及從所述老師網(wǎng)絡(luò)中遷移獲得各所述蒸餾層中的學(xué)生參數(shù)；

根據(jù)遷移后的所有所述蒸餾層構(gòu)建出基于TinyBert的所述學(xué)生網(wǎng)絡(luò)；其中，所述學(xué)生網(wǎng)絡(luò)的層級小于所述老師網(wǎng)絡(luò)的層級。

4.如權(quán)利要求2所述的語音識別模型訓(xùn)練方法，其特征在于，所述根據(jù)所述待識別特征向量和插入后的所述動(dòng)態(tài)隊(duì)列進(jìn)行文字預(yù)測，得到與所述預(yù)訓(xùn)練樣本對應(yīng)的文本識別結(jié)果，包括：

對所述待識別特征向量進(jìn)行轉(zhuǎn)換編碼，得到第一編碼序列，同時(shí)對所述待識別特征向量與插入后的所述動(dòng)態(tài)隊(duì)列進(jìn)行點(diǎn)乘編碼，得到多個(gè)第二編碼序列；

對所述第一編碼序列、各所述第二編碼序列進(jìn)行掩蔽預(yù)測編碼，得到多個(gè)掩蔽序列，并更新所述動(dòng)態(tài)隊(duì)列；

對各所述掩蔽序列進(jìn)行微調(diào)文字解碼，以及對微調(diào)文字解碼后的所有所述掩蔽序列進(jìn)行對比預(yù)測，得到所述文本識別結(jié)果。

5.如權(quán)利要求1所述的語音識別模型訓(xùn)練方法，其特征在于，所述對所述第一特征向量、所述第二特征向量和所述老師網(wǎng)絡(luò)中的動(dòng)態(tài)隊(duì)列進(jìn)行對齊對比處理，得到損失值，包括：

將所述第一特征向量加入所述動(dòng)態(tài)隊(duì)列中，作為新的歷史特征向量；其中，所述動(dòng)態(tài)隊(duì)列包括多個(gè)所述歷史特征向量；

將所述第一特征向量與各所述歷史特征向量進(jìn)行內(nèi)積處理，得到第一相似值，同時(shí)將所述第二特征向量與各所述歷史特征向量進(jìn)行內(nèi)積處理，得到第二相似值；

計(jì)算所述第一相似值和所述第二相似值的交叉熵，得到所述損失值。