[發(fā)明專利]語(yǔ)音識(shí)別方法、裝置、介質(zhì)及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110738271.7
• 申請(qǐng)日: 2021-06-30
• 公開(kāi)（公告）號(hào): CN113327599B
• 公開(kāi)（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 董林昊;馬澤君
• 申請(qǐng)（專利權(quán)）人: 北京有竹居網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G10L15/06
• 分類號(hào): G10L15/06;G10L15/16;G10L15/26
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 曹寒梅

1.一種語(yǔ)音識(shí)別方法，其特征在于，所述方法包括：

對(duì)接收到的語(yǔ)音數(shù)據(jù)進(jìn)行編碼，獲得所述語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的聲學(xué)向量序列，其中，所述聲學(xué)向量序列包含所述語(yǔ)音數(shù)據(jù)的每一音頻幀的聲學(xué)向量；

根據(jù)所述聲學(xué)向量序列和第一預(yù)測(cè)模型，獲得所述語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的信息量序列和第一概率序列，其中，所述信息量序列包含每一所述音頻幀的信息量，所述第一概率序列包含所述語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的每一預(yù)測(cè)字符的第一文本概率分布，基于每一所述音頻幀的信息量以所述信息量序列從左到右進(jìn)行累加以確定與每一預(yù)測(cè)字符對(duì)應(yīng)的音頻幀；

根據(jù)所述聲學(xué)向量序列和第二預(yù)測(cè)模型，獲得第二概率序列，其中，所述第二概率序列中包含每一所述音頻幀的文本概率分布；

根據(jù)所述第一概率序列和所述第二概率序列，確定目標(biāo)概率序列，其中，所述目標(biāo)概率序列包含每一所述預(yù)測(cè)字符的目標(biāo)文本概率分布；

根據(jù)所述目標(biāo)概率序列，確定所述語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的目標(biāo)文本。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述聲學(xué)向量序列和第一預(yù)測(cè)模型，獲得所述語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的信息量序列和第一概率序列，包括：

將所述聲學(xué)向量序列輸入所述第一預(yù)測(cè)模型，獲得所述信息量序列；

根據(jù)所述信息量序列對(duì)所述聲學(xué)向量序列中所述音頻幀的聲學(xué)向量進(jìn)行合并，獲得字符聲學(xué)向量序列，其中，所述字符聲學(xué)向量序列包含每一所述預(yù)測(cè)字符對(duì)應(yīng)的聲學(xué)向量；

對(duì)所述字符聲學(xué)向量序列進(jìn)行解碼，獲得所述第一概率序列。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述聲學(xué)向量序列和第二預(yù)測(cè)模型，獲得第二概率序列，包括：

將所述聲學(xué)向量序列輸入所述第二預(yù)測(cè)模型，獲得每一所述音頻幀的預(yù)測(cè)概率分布；

針對(duì)每一所述音頻幀，將該音頻幀的預(yù)測(cè)概率分布中對(duì)應(yīng)于預(yù)設(shè)字符的概率刪除，并對(duì)刪除后所得的預(yù)測(cè)概率分布進(jìn)行歸一化，獲得該音頻幀的文本概率分布。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一概率序列和所述第二概率序列，確定目標(biāo)概率序列，包括：

根據(jù)所述信息量序列對(duì)所述第二概率序列中的所述音頻幀的文本概率分布進(jìn)行合并，獲得第三概率序列，其中，第三概率序列包含每一所述預(yù)測(cè)字符的第二文本概率分布；

根據(jù)所述第一概率序列和所述第三概率序列，確定所述目標(biāo)概率序列。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述信息量序列對(duì)所述第二概率序列中的所述音頻幀的文本概率分布進(jìn)行合并，獲得第三概率序列，包括：

按照序列順序遍歷所述信息量序列中的信息量，根據(jù)所述信息量的累加和對(duì)所述音頻幀進(jìn)行分組，獲得多個(gè)音頻幀組合，其中，除最后一個(gè)音頻幀組合之外的其他音頻幀組合所對(duì)應(yīng)的信息量的累加和相同，每一音頻幀組合對(duì)應(yīng)于一個(gè)預(yù)測(cè)字符；

針對(duì)每一音頻幀組合，將該音頻幀組合中的每一音頻幀的文本概率分布的加權(quán)和，確定為該組音頻幀組合對(duì)應(yīng)的預(yù)測(cè)字符的第二文本概率分布，其中，每一所述音頻幀對(duì)應(yīng)的權(quán)重是基于所述音頻幀屬于所述音頻幀組合的信息量確定的。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述第一概率序列和所述第三概率序列，確定所述目標(biāo)概率序列，包括：

針對(duì)每一所述預(yù)測(cè)字符，將該預(yù)測(cè)字符在所述第一概率序列中的第一文本概率分布、和該預(yù)測(cè)字符在所述第三概率序列中的第二文本概率分布的加權(quán)和，確定為該預(yù)測(cè)字符的目標(biāo)概率分布。

7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法，其特征在于，所述第一預(yù)測(cè)模型為CIF模型，所述第二預(yù)測(cè)模型為CTC模型。