[發(fā)明專利]語(yǔ)音識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210587567.8
• 申請(qǐng)日: 2022-05-25
• 公開（公告）號(hào): CN114822509A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 丁超越;宗道明;李家魁;李寶祥
• 申請(qǐng)（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號(hào): G10L15/02
• 分類號(hào): G10L15/02;G10L15/06;G10L15/08;G10L15/14;G10L15/16;G10L15/26;G10L25/24
• 代理公司: 北京中知恒瑞知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 袁忠林

1.一種語(yǔ)音識(shí)別方法，其特征在于，包括：

獲取待識(shí)別的目標(biāo)音頻數(shù)據(jù)，并對(duì)所述目標(biāo)音頻數(shù)據(jù)進(jìn)行音頻特征提取，得到所述目標(biāo)音頻數(shù)據(jù)對(duì)應(yīng)的音頻提取特征；

將所述音頻提取特征輸入至預(yù)先訓(xùn)練好的目標(biāo)編碼器中，得到所述目標(biāo)編碼器輸出的與所述目標(biāo)音頻數(shù)據(jù)對(duì)應(yīng)的音頻編碼特征；其中，所述目標(biāo)編碼器包含自注意力網(wǎng)絡(luò)，所述自注意力網(wǎng)絡(luò)在確定目標(biāo)查詢矩陣時(shí)采用池化處理操作；所述目標(biāo)查詢矩陣為所述自注意力網(wǎng)絡(luò)在基于自注意力機(jī)制進(jìn)行特征提取時(shí)確定的多個(gè)特征表示矩陣中的一個(gè)；

基于所述音頻編碼特征，確定所述目標(biāo)音頻數(shù)據(jù)對(duì)應(yīng)的語(yǔ)音識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述目標(biāo)音頻數(shù)據(jù)進(jìn)行音頻特征提取，得到所述目標(biāo)音頻數(shù)據(jù)對(duì)應(yīng)的音頻提取特征，包括：

對(duì)所述目標(biāo)音頻數(shù)據(jù)進(jìn)行初始特征提取，確定所述目標(biāo)音頻數(shù)據(jù)對(duì)應(yīng)的梅爾頻率倒譜系數(shù)特征；

對(duì)所述梅爾頻率倒譜系數(shù)特征進(jìn)行特征維度轉(zhuǎn)換處理，得到所述音頻提取特征；其中，所述音頻提取特征的維度高于所述梅爾頻率倒譜系數(shù)特征的維度。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在確定所述目標(biāo)音頻數(shù)據(jù)對(duì)應(yīng)的梅爾頻率倒譜系數(shù)特征后，所述方法還包括：

對(duì)所述梅爾頻率倒譜系數(shù)特征進(jìn)行特征增強(qiáng)處理，得到增強(qiáng)處理后的梅爾頻率倒譜系數(shù)特征；

所述對(duì)所述梅爾頻率倒譜系數(shù)特征進(jìn)行特征維度轉(zhuǎn)換處理，得到所述音頻提取特征，包括：

基于目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)對(duì)增強(qiáng)處理后的梅爾頻率倒譜系數(shù)特征進(jìn)行特征維度轉(zhuǎn)換處理，得到所述目標(biāo)音頻數(shù)據(jù)對(duì)應(yīng)的音頻提取特征。

4.根據(jù)權(quán)利要求1～3任一所述的方法，其特征在于，所述目標(biāo)編碼器中還包括目標(biāo)前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，所述目標(biāo)前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中包含卷積層和歸一化層，用于對(duì)所述自注意力網(wǎng)絡(luò)輸出的特征進(jìn)行處理。

5.根據(jù)權(quán)利要求1～4任一所述的方法，其特征在于，所述自注意力網(wǎng)絡(luò)中包括相對(duì)位置編碼模塊；

所述相對(duì)位置編碼模塊，用于對(duì)所述目標(biāo)查詢矩陣進(jìn)行相對(duì)位置編碼處理。

6.根據(jù)權(quán)利要求1～5任一所述的方法，其特征在于，所述基于所述音頻編碼特征，確定所述目標(biāo)音頻數(shù)據(jù)對(duì)應(yīng)的語(yǔ)音識(shí)別結(jié)果，包括：

基于目標(biāo)池化網(wǎng)絡(luò)，對(duì)所述音頻編碼特征進(jìn)行池化處理，得到池化處理后的目標(biāo)音頻特征；

將所述目標(biāo)音頻特征輸入至訓(xùn)練好的目標(biāo)分類網(wǎng)絡(luò)中，得到所述目標(biāo)分類網(wǎng)絡(luò)輸出的針對(duì)各類別預(yù)設(shè)關(guān)鍵詞的目標(biāo)概率矩陣；

基于所述目標(biāo)概率矩陣，確定所述目標(biāo)音頻數(shù)據(jù)對(duì)應(yīng)的語(yǔ)音識(shí)別結(jié)果。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括根據(jù)以下步驟對(duì)所述目標(biāo)分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練：

獲取樣本數(shù)據(jù)和所述樣本數(shù)據(jù)對(duì)應(yīng)的目標(biāo)標(biāo)簽；

基于所述樣本數(shù)據(jù)、目標(biāo)編碼器以及所述目標(biāo)池化網(wǎng)絡(luò)，確定與所述樣本數(shù)據(jù)對(duì)應(yīng)的樣本音頻特征；

將所述樣本音頻特征輸入至待訓(xùn)練的所述目標(biāo)分類網(wǎng)絡(luò)，得到所述目標(biāo)分類網(wǎng)絡(luò)輸出的第一預(yù)測(cè)結(jié)果；以及，將所述樣本音頻特征輸入至訓(xùn)練好的教師神經(jīng)網(wǎng)絡(luò)中，得到所述教師神經(jīng)網(wǎng)絡(luò)輸出的第二預(yù)測(cè)結(jié)果；

基于所述第一預(yù)測(cè)結(jié)果、所述第二預(yù)測(cè)結(jié)果以及所述目標(biāo)標(biāo)簽，確定本次訓(xùn)練的目標(biāo)損失值，并基于所述目標(biāo)損失值對(duì)所述目標(biāo)分類網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)參數(shù)調(diào)節(jié)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述基于所述第一預(yù)測(cè)結(jié)果、所述第二預(yù)測(cè)結(jié)果以及所述目標(biāo)標(biāo)簽，確定本次訓(xùn)練的目標(biāo)損失值，包括：

基于所述第一預(yù)測(cè)結(jié)果和所述目標(biāo)標(biāo)簽，確定第一損失值；以及，基于所述第一預(yù)測(cè)結(jié)果和所述第二預(yù)測(cè)結(jié)果，確定第二損失值；

基于所述第一損失值和所述第二損失值，確定所述目標(biāo)損失值。