[發(fā)明專利]一種語音識(shí)別模型訓(xùn)練方法、語音識(shí)別方法、裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010793051.X
• 申請(qǐng)日: 2020-08-10
• 公開（公告）號(hào): CN111739520B
• 公開（公告）日: 2020-11-20
• 發(fā)明（設(shè)計(jì)）人: 王明
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G10L15/06
• 分類號(hào): G10L15/06;G10L15/08
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 王花麗;張穎玲

本發(fā)明提供了一種語音識(shí)別模型訓(xùn)練方法，包括：獲取訓(xùn)練樣本集合，確定語音識(shí)別模型中的實(shí)體邊界抽取網(wǎng)絡(luò)的初始參數(shù)；確定實(shí)體邊界抽取網(wǎng)絡(luò)對(duì)應(yīng)的更新參數(shù)；根據(jù)實(shí)體邊界抽取網(wǎng)絡(luò)對(duì)應(yīng)的更新參數(shù)，通過訓(xùn)練樣本集合對(duì)語音識(shí)別模型的實(shí)體邊界抽取網(wǎng)絡(luò)的參數(shù)進(jìn)行迭代更新；確定實(shí)體多任務(wù)分類網(wǎng)絡(luò)對(duì)應(yīng)的更新參數(shù)，根據(jù)實(shí)體多任務(wù)分類網(wǎng)絡(luò)對(duì)應(yīng)的更新參數(shù)，通過實(shí)體邊界抽取網(wǎng)絡(luò)的處理結(jié)果對(duì)實(shí)體多任務(wù)分類網(wǎng)絡(luò)的參數(shù)進(jìn)行迭代更新。本發(fā)明還提供了語音處理方法、裝置及存儲(chǔ)介質(zhì)。本發(fā)明能夠提升語音識(shí)別模型的訓(xùn)練精度與訓(xùn)練速度，使得語音識(shí)別模型能夠適應(yīng)媒資類的使用場景，避免媒資類語句中的關(guān)聯(lián)信息對(duì)語音識(shí)別模型的識(shí)別結(jié)果的影響。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)，尤其涉及一種語音識(shí)別模型訓(xùn)練方法、語音識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)可以通過BERT（Bidirectional EncoderRepresentations from Transformers，源于Transformers的雙向編碼器）機(jī)制實(shí)現(xiàn)，在使用BERT對(duì)應(yīng)的模型對(duì)語音數(shù)據(jù)進(jìn)行處理的過程中，對(duì)于媒資類場景的指令識(shí)別中，由于用戶語句較為復(fù)雜，交互成功率較低，影響用戶的使用體驗(yàn)。因此，在媒資類場景下對(duì)用戶意圖識(shí)別精度要求更高，智能設(shè)備需要懂得如何準(zhǔn)確地響應(yīng)用戶的語音指令語句。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供一種語音識(shí)別模型訓(xùn)練方法、語音識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)能夠使得語音識(shí)別模型的泛化能力更強(qiáng)，提升語音識(shí)別模型的訓(xùn)練精度，使得語音識(shí)別模型能夠適應(yīng)媒資類的使用場景，避免媒資類語句中的關(guān)聯(lián)信息對(duì)語音識(shí)別模型的識(shí)別結(jié)果的影響。

本發(fā)明實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

本發(fā)明提供了一種語音識(shí)別模型訓(xùn)練方法，其特征在于，所述方法包括：

獲取訓(xùn)練樣本集合，其中，所述訓(xùn)練樣本集合包括與語音識(shí)別模型相匹配的經(jīng)過實(shí)體標(biāo)記的不同語音樣本；

通過所述語音識(shí)別模型對(duì)所述訓(xùn)練樣本集合進(jìn)行處理，確定所述語音識(shí)別模型中的實(shí)體邊界抽取網(wǎng)絡(luò)的初始參數(shù)；

基于所述實(shí)體邊界抽取網(wǎng)絡(luò)的初始參數(shù)，通過所述語音識(shí)別模型對(duì)所述訓(xùn)練樣本集合進(jìn)行處理，確定所述實(shí)體邊界抽取網(wǎng)絡(luò)對(duì)應(yīng)的更新參數(shù)；

根據(jù)所述實(shí)體邊界抽取網(wǎng)絡(luò)對(duì)應(yīng)的更新參數(shù)，通過所述訓(xùn)練樣本集合對(duì)所述語音識(shí)別模型的實(shí)體邊界抽取網(wǎng)絡(luò)的參數(shù)進(jìn)行迭代更新，以實(shí)現(xiàn)對(duì)所述訓(xùn)練樣本集合中的語音樣本進(jìn)行實(shí)體邊界抽取；

通過所述語音識(shí)別模型對(duì)所述訓(xùn)練樣本集合進(jìn)行處理，確定所述語音識(shí)別模型中的實(shí)體多任務(wù)分類網(wǎng)絡(luò)的初始參數(shù)；

基于所述實(shí)體多任務(wù)分類網(wǎng)絡(luò)的初始參數(shù)，通過所述語音識(shí)別模型對(duì)所述訓(xùn)練樣本集合進(jìn)行處理，確定所述實(shí)體多任務(wù)分類網(wǎng)絡(luò)對(duì)應(yīng)的更新參數(shù)；

根據(jù)所述實(shí)體多任務(wù)分類網(wǎng)絡(luò)對(duì)應(yīng)的更新參數(shù)，通過所述實(shí)體邊界抽取網(wǎng)絡(luò)的處理結(jié)果對(duì)所述實(shí)體多任務(wù)分類網(wǎng)絡(luò)的參數(shù)進(jìn)行迭代更新，以實(shí)現(xiàn)通過所述語音識(shí)別模型對(duì)使用環(huán)境中的不同語音信息進(jìn)行處理。

上述方案中，所述方法還包括：

響應(yīng)于所述語音識(shí)別模型的訓(xùn)練樣本字典集合，確定所述訓(xùn)練樣本集合的注意力參數(shù)集合；

根據(jù)所述訓(xùn)練樣本字典集合和所述訓(xùn)練樣本集合的注意力參數(shù)集合，對(duì)所述訓(xùn)練樣本集合進(jìn)行加權(quán)處理，以實(shí)現(xiàn)所述訓(xùn)練樣本集合與所述語音識(shí)別模型的訓(xùn)練樣本字典集合相適配。

上述方案中，所述方法還包括 ：

確定與所述語音識(shí)別模型的使用環(huán)境相匹配的動(dòng)態(tài)噪聲閾值；

根據(jù)所述動(dòng)態(tài)噪聲閾值對(duì)所述訓(xùn)練樣本集合進(jìn)行噪聲添加處理，以形成與所述動(dòng)態(tài)噪聲閾值相匹配的動(dòng)態(tài)噪聲訓(xùn)練樣本集合。