[發(fā)明專利]語音識別方法、裝置、介質(zhì)及設(shè)備

有效

• 申請?zhí)枺?/td>: 202110735672.7
• 申請日: 2021-06-30
• 公開（公告）號: CN113470619B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計）人: 董林昊;韓明倫;馬澤君
• 申請（專利權(quán)）人: 北京有竹居網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/26
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 曹寒梅

1.一種語音識別方法，其特征在于，所述方法包括：

接收待識別語音數(shù)據(jù)；

根據(jù)所述待識別語音數(shù)據(jù)、熱詞信息和語音識別模型，獲得所述待識別語音數(shù)據(jù)對應(yīng)的目標(biāo)文本；其中，所述熱詞信息包含多個熱詞對應(yīng)的文本序列和音標(biāo)序列；所述語音識別模型包括語音識別子模型和語境識別子模型，所述語境識別子模型是基于訓(xùn)練詞語以及所述訓(xùn)練詞語的音標(biāo)序列、文本序列以及訓(xùn)練標(biāo)簽進(jìn)行訓(xùn)練的，在所述語境識別子模型的訓(xùn)練過程中結(jié)合所述訓(xùn)練詞語對應(yīng)的發(fā)音特征和文本特征進(jìn)行訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述語境識別子模型包括發(fā)音特征編碼器、文本特征編碼器、注意力模塊和語境特征解碼器；

所述根據(jù)所述待識別語音數(shù)據(jù)、熱詞信息和語音識別模型，獲得所述待識別語音數(shù)據(jù)對應(yīng)的目標(biāo)文本，包括：

根據(jù)所述發(fā)音特征編碼器對所述熱詞的音標(biāo)序列進(jìn)行編碼，獲得所述熱詞的發(fā)音特征向量，并根據(jù)所述文本特征編碼器對所述熱詞的文本序列進(jìn)行編碼，獲得所述熱詞的文本特征向量；

根據(jù)所述語音識別子模型和所述待識別語音數(shù)據(jù)，獲得所述待識別語音數(shù)據(jù)對應(yīng)的每一預(yù)測字符的字符聲學(xué)向量和文本概率分布；

根據(jù)所述注意力模塊、所述發(fā)音特征向量、所述文本特征向量以及所述字符聲學(xué)向量，獲得每一所述預(yù)測字符的語境特征向量；

根據(jù)所述語境特征解碼器和所述語境特征向量，獲得每一所述預(yù)測字符的語境概率分布；

根據(jù)所述文本概率分布和所述語境概率分布，確定所述待識別數(shù)據(jù)對應(yīng)的目標(biāo)文本。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述注意力模塊、所述發(fā)音特征向量、所述文本特征向量以及所述字符聲學(xué)向量，獲得每一所述預(yù)測字符的語境特征向量，包括：

針對每一所述熱詞，根據(jù)該熱詞的所述發(fā)音特征向量和所述文本特征向量，確定該熱詞對應(yīng)的融合特征向量；

針對每一所述預(yù)測字符，在所述注意力模塊中，根據(jù)所述預(yù)測字符的字符聲學(xué)向量、各個所述熱詞對應(yīng)的融合特征向量和文本特征向量，確定所述預(yù)測字符對應(yīng)的語境特征向量。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述預(yù)測字符的字符聲學(xué)向量、各個所述熱詞對應(yīng)的融合特征向量和文本特征向量，確定所述預(yù)測字符對應(yīng)的語境特征向量，包括：

將所述字符聲學(xué)向量與每一所述熱詞對應(yīng)的融合特征向量的點(diǎn)積，確定為該熱詞對應(yīng)的初始權(quán)重；

將每一所述熱詞對應(yīng)的初始權(quán)重進(jìn)行歸一化處理，獲得每一所述熱詞對應(yīng)的目標(biāo)權(quán)重；

根據(jù)每一所述熱詞對應(yīng)的目標(biāo)權(quán)重對所述熱詞的文本特征向量進(jìn)行加權(quán)和計算，獲得所述語境特征向量。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述預(yù)測字符的字符聲學(xué)向量、各個所述熱詞對應(yīng)的融合特征向量和文本特征向量，確定所述預(yù)測字符對應(yīng)的語境特征向量，還包括：

將按照所述目標(biāo)權(quán)重由大至小的順序排序M之后的目標(biāo)權(quán)重更新為零，M為正整數(shù)；

所述根據(jù)每一所述熱詞對應(yīng)的目標(biāo)權(quán)重對所述熱詞的文本特征向量進(jìn)行加權(quán)和計算，獲得所述語境特征向量，包括：

根據(jù)每一所述熱詞對應(yīng)的更新后的目標(biāo)權(quán)重對所述熱詞的文本特征向量進(jìn)行加權(quán)和計算，獲得所述語境特征向量。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述語境特征解碼器和所述語境特征向量，獲得每一所述預(yù)測字符的語境概率分布，包括：

針對每一所述預(yù)測字符，根據(jù)所述預(yù)測字符的聲學(xué)字符向量和所述語境特征向量，獲得預(yù)測字符的目標(biāo)特征向量；

根據(jù)所述語境特征解碼器對所述目標(biāo)特征向量進(jìn)行解碼，獲得每一所述預(yù)測字符對應(yīng)的語境概率分布。