[發(fā)明專利]一種語(yǔ)音處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011053209.6
• 申請(qǐng)日: 2020-09-29
• 公開(kāi)（公告）號(hào): CN112201249A
• 公開(kāi)（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 陶斐;孫瑞娜;楊森
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G10L15/26
• 分類號(hào): G10L15/26;G10L15/02;H04N17/00;H04N21/2187
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種語(yǔ)音處理方法，其特征在于，包括：

獲取目標(biāo)語(yǔ)音；

將所述目標(biāo)語(yǔ)音輸入至語(yǔ)音處理模型的語(yǔ)音識(shí)別網(wǎng)絡(luò)，根據(jù)所述語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層的輸出得到語(yǔ)音特征提取結(jié)果；所述語(yǔ)音特征提取結(jié)果包括所述目標(biāo)語(yǔ)音的文本特征和高級(jí)語(yǔ)義特征；

將所述語(yǔ)音特征提取結(jié)果輸入至所述語(yǔ)音處理模型的語(yǔ)義理解網(wǎng)絡(luò)，得到所述目標(biāo)語(yǔ)音的語(yǔ)義理解結(jié)果。

2.根據(jù)權(quán)利要求1所述的語(yǔ)音處理方法，其特征在于，所述語(yǔ)音處理模型包括多個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)，所述多個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)具有不同的網(wǎng)絡(luò)結(jié)構(gòu)；

相應(yīng)的，所述將所述目標(biāo)語(yǔ)音輸入至語(yǔ)音處理模型的語(yǔ)音識(shí)別網(wǎng)絡(luò)，根據(jù)所述語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層的輸出得到語(yǔ)音特征提取結(jié)果，包括：

將所述目標(biāo)語(yǔ)音分別輸入至所述語(yǔ)音處理模型的各個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)，獲取每個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層輸出的特征向量；

對(duì)所述每個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層輸出的特征向量進(jìn)行融合，得到融合特征向量；

將所述融合特征向量作為所述語(yǔ)音特征提取結(jié)果。

3.根據(jù)權(quán)利要求2所述的語(yǔ)音處理方法，其特征在于，所述語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層包括依次連接的多個(gè)中間隱藏層；

相應(yīng)的，所述獲取每個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層輸出的特征向量，包括：

針對(duì)每個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層，獲取所述隱藏層包括的多個(gè)中間隱藏層中的最后一層中間隱藏層所輸出的特征向量。

4.根據(jù)權(quán)利要求1所述的語(yǔ)音處理方法，其特征在于，所述獲取目標(biāo)語(yǔ)音，包括：

獲取直播視頻數(shù)據(jù)流；

提取所述直播視頻數(shù)據(jù)流中的語(yǔ)音數(shù)據(jù)，并將所述語(yǔ)音數(shù)據(jù)作為所述目標(biāo)語(yǔ)音。

5.根據(jù)權(quán)利要求1所述的語(yǔ)音處理方法，其特征在于，所述方法還包括：

獲取預(yù)訓(xùn)練的語(yǔ)音識(shí)別網(wǎng)絡(luò)，根據(jù)所述語(yǔ)音識(shí)別網(wǎng)絡(luò)和初始語(yǔ)義理解網(wǎng)絡(luò)構(gòu)建初始語(yǔ)音處理模型；

獲取訓(xùn)練樣本，所述訓(xùn)練樣本包括樣本語(yǔ)音和所述樣本語(yǔ)音對(duì)應(yīng)的樣本語(yǔ)義信息；

將所述樣本語(yǔ)音輸入至所述初始語(yǔ)音處理模型的語(yǔ)音識(shí)別網(wǎng)絡(luò)，根據(jù)所述語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層的輸出得到樣本語(yǔ)音特征提取結(jié)果，所述樣本語(yǔ)音特征提取結(jié)果包括所述樣本語(yǔ)音的文本特征和高級(jí)語(yǔ)義特征；

將所述樣本語(yǔ)音特征提取結(jié)果輸入至所述初始語(yǔ)音處理模型的初始語(yǔ)義理解網(wǎng)絡(luò)，得到所述樣本語(yǔ)音的語(yǔ)義理解結(jié)果；

根據(jù)所述樣本語(yǔ)音的語(yǔ)義理解結(jié)果和所述樣本語(yǔ)音對(duì)應(yīng)的樣本語(yǔ)義信息確定所述初始語(yǔ)音處理模型的損失值；

根據(jù)所述損失值調(diào)整所述初始語(yǔ)義理解網(wǎng)絡(luò)的參數(shù)直至滿足訓(xùn)練結(jié)束條件，得到所述語(yǔ)音處理模型。

6.一種語(yǔ)音處理裝置，其特征在于，包括：

語(yǔ)音獲取單元，被配置為執(zhí)行獲取目標(biāo)語(yǔ)音；

特征提取單元，被配置為執(zhí)行將所述目標(biāo)語(yǔ)音輸入至語(yǔ)音處理模型的語(yǔ)音識(shí)別網(wǎng)絡(luò)，根據(jù)所述語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層的輸出得到語(yǔ)音特征提取結(jié)果；所述語(yǔ)音特征提取結(jié)果包括所述目標(biāo)語(yǔ)音的文本特征和高級(jí)語(yǔ)義特征；

語(yǔ)義理解單元，被配置為執(zhí)行將所述語(yǔ)音特征提取結(jié)果輸入至所述語(yǔ)音處理模型的語(yǔ)義理解網(wǎng)絡(luò)，得到所述目標(biāo)語(yǔ)音的語(yǔ)義理解結(jié)果。

7.根據(jù)權(quán)利要求6所述的語(yǔ)音處理裝置，其特征在于，所述語(yǔ)音處理模型包括多個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)，所述多個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)具有不同的網(wǎng)絡(luò)結(jié)構(gòu)；

相應(yīng)的，所述特征提取單元，包括：

特征向量獲取單元，被配置為執(zhí)行將所述目標(biāo)語(yǔ)音分別輸入至所述語(yǔ)音處理模型的各個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)，獲取每個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層輸出的特征向量；

融合單元，被配置為執(zhí)行對(duì)所述每個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層輸出的特征向量進(jìn)行融合，得到融合特征向量；將所述融合特征向量作為所述語(yǔ)音特征提取結(jié)果。

8.根據(jù)權(quán)利要求7所述的語(yǔ)音處理裝置，其特征在于，所述語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層包括依次連接的多個(gè)中間隱藏層；相應(yīng)的，所述特征向量獲取單元在獲取每個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層輸出的特征向量時(shí)，具體用于：

針對(duì)每個(gè)語(yǔ)音識(shí)別網(wǎng)絡(luò)的隱藏層，獲取所述隱藏層包括的多個(gè)中間隱藏層中的最后一層中間隱藏層所輸出的特征向量。