[發(fā)明專(zhuān)利]語(yǔ)音識(shí)別模型訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110654093.X
• 申請(qǐng)日: 2021-06-11
• 公開(kāi)（公告）號(hào): CN113327594B
• 公開(kāi)（公告）日: 2022-08-16
• 發(fā)明（設(shè)計(jì)）人: 李作強(qiáng);楊嵩;林連志
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京世紀(jì)好未來(lái)教育科技有限公司
• 主分類(lèi)號(hào): G10L15/06
• 分類(lèi)號(hào): G10L15/06;G10L15/16
• 代理公司: 北京開(kāi)陽(yáng)星知識(shí)產(chǎn)權(quán)代理有限公司 11710
• 代理人: 張通

本申請(qǐng)?zhí)峁┮环N語(yǔ)音識(shí)別模型訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，方法包括：采用Wavenet前向網(wǎng)絡(luò)和第一循環(huán)神經(jīng)網(wǎng)絡(luò)處理第一聲學(xué)特征矩陣得到第三聲學(xué)特征矩陣；采用第二循環(huán)神經(jīng)網(wǎng)絡(luò)處理第一文本特征矩陣得到第二文本特征矩陣；組合第三聲學(xué)特征矩陣和第二文本特征矩陣，得到組合矩陣；以及，采用聯(lián)合網(wǎng)絡(luò)處理組合矩陣得到輸出矩陣；根據(jù)樣本語(yǔ)音對(duì)應(yīng)的文本和輸出矩陣，對(duì)Wavenet前向網(wǎng)絡(luò)、第一循環(huán)神經(jīng)網(wǎng)絡(luò)、第二循環(huán)神經(jīng)網(wǎng)絡(luò)和聯(lián)合網(wǎng)絡(luò)進(jìn)行訓(xùn)練。本方案通過(guò)使用Wavenet前向網(wǎng)絡(luò)模塊提高了序列建模的感受視野，優(yōu)化了模型的訓(xùn)練速度和精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，具體涉及一種語(yǔ)音識(shí)別模型訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著神經(jīng)網(wǎng)絡(luò)在機(jī)器翻譯、語(yǔ)音生成等方面的進(jìn)展，基于的語(yǔ)音識(shí)別也達(dá)到了和傳統(tǒng)方法可比的性能。不同于傳統(tǒng)方法將語(yǔ)音識(shí)別任務(wù)分解為多個(gè)子任務(wù)(詞匯模型，聲學(xué)模型和語(yǔ)言模型)，的語(yǔ)音識(shí)別模型基于梅爾語(yǔ)譜作為輸入，能夠直接產(chǎn)生對(duì)應(yīng)的自然語(yǔ)言文本，大大簡(jiǎn)化了模型的訓(xùn)練過(guò)程，從而越來(lái)越受到學(xué)術(shù)界和產(chǎn)業(yè)界的關(guān)注。

目前，典型的基于的語(yǔ)音識(shí)別模型包括循環(huán)神經(jīng)網(wǎng)絡(luò)-變換器(Recurrent NeuralNetwork Transducer，RNN-T)模型，其將語(yǔ)言模型和聲學(xué)模型整合在一起進(jìn)行聯(lián)合優(yōu)化；經(jīng)過(guò)實(shí)踐檢驗(yàn)，RNN-T模型雖然具有聯(lián)合優(yōu)化、具有語(yǔ)言模型建模能力和具有單調(diào)性的優(yōu)點(diǎn)，但是這一模型比較難訓(xùn)練。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題或者至少部分地解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┮环N語(yǔ)音識(shí)別模型訓(xùn)練方法和裝置。

一方面，本申請(qǐng)?zhí)峁┮环N語(yǔ)音識(shí)別模型訓(xùn)練方法，包括：

獲取樣本語(yǔ)音中各個(gè)分幀的頻域特征向量，根據(jù)所述頻域特征向量得到第一聲學(xué)特征矩陣；

采用Wavenet前向網(wǎng)絡(luò)處理所述第一聲學(xué)特征矩陣，得到第二聲學(xué)特征矩陣；以及，采用第一循環(huán)神經(jīng)網(wǎng)絡(luò)處理所述第二聲學(xué)特征矩陣，得到第三聲學(xué)特征矩陣；

獲取所述樣本語(yǔ)音對(duì)應(yīng)文本中各個(gè)單詞的詞向量，根據(jù)所述詞向量得到第一文本特征矩陣；以及，采用第二循環(huán)神經(jīng)網(wǎng)絡(luò)處理所述第一文本特征矩陣，得到第二文本特征矩陣；

組合所述第三聲學(xué)特征矩陣和所述第二文本特征矩陣，得到組合矩陣；以及，采用聯(lián)合網(wǎng)絡(luò)處理所述組合矩陣得到輸出矩陣；

根據(jù)所述樣本語(yǔ)音對(duì)應(yīng)的文本和所述輸出矩陣，對(duì)所述語(yǔ)音識(shí)別模型進(jìn)行訓(xùn)練。

可選地，所述語(yǔ)音識(shí)別模型包括所述Wavenet前向網(wǎng)絡(luò)、所述第一循環(huán)神經(jīng)網(wǎng)絡(luò)、所述第二循環(huán)神經(jīng)網(wǎng)絡(luò)和所述聯(lián)合網(wǎng)絡(luò)；

所述對(duì)所述語(yǔ)音識(shí)別模型進(jìn)行訓(xùn)練，包括：對(duì)所述Wavenet前向網(wǎng)絡(luò)、所述第一循環(huán)神經(jīng)網(wǎng)絡(luò)、所述第二循環(huán)神經(jīng)網(wǎng)絡(luò)和所述聯(lián)合網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練。

可選地，在采用Wavenet前向網(wǎng)絡(luò)處理所述第一聲學(xué)特征矩陣前，還包括：采用卷積運(yùn)算模塊處理所述第一聲學(xué)特征矩陣，得到第四聲學(xué)特征矩陣；

所述采用Wavenet前向網(wǎng)絡(luò)處理所述第一聲學(xué)特征矩陣，得到第二聲學(xué)特征矩陣，包括：采用所述Wavenet前向網(wǎng)絡(luò)處理所述第四聲學(xué)特征矩陣，得到所述第二聲學(xué)特征矩陣。

可選地，所述采用卷積運(yùn)算模塊處理所述第一聲學(xué)特征矩陣，得到第四聲學(xué)特征矩陣，包括：

采用深度可分離卷積模塊處理所述第一聲學(xué)特征矩陣，得到所述第四聲學(xué)特征矩陣。

可選地，所述第一循環(huán)神經(jīng)網(wǎng)絡(luò)和/或所述第二循環(huán)神經(jīng)網(wǎng)絡(luò)為具有動(dòng)態(tài)殘差連接的循環(huán)神經(jīng)網(wǎng)絡(luò)。

可選地，所述第一循環(huán)神經(jīng)網(wǎng)絡(luò)和/或所述第二循環(huán)神經(jīng)網(wǎng)絡(luò)為具有投影層的長(zhǎng)短期記憶網(wǎng)絡(luò)。

另一方面，本申請(qǐng)?zhí)峁┮环N語(yǔ)音識(shí)別模型訓(xùn)練裝置，包括：