[發明專利]音頻識別方法、裝置、訓練方法、訓練裝置、設備及存儲介質

有效

• 申請號: 202110671831.1
• 申請日: 2021-06-17
• 公開（公告）號: CN113380233B
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 趙情恩
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/26;G10L25/03;G10L15/06
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種音頻識別方法，其特征在于，所述方法包括：

獲取音頻數據，并將所述音頻數據進行分片得到至少兩幀子音頻數據；

確定每幀子音頻數據對應的至少一個維度的特征信息；

基于每幀所述子音頻數據對應的所述至少一個維度的特征信息確定出每幀所述子音頻數據的特征；

基于每幀所述子音頻數據的特征確定出所述音頻數據的全局特征；

基于所述音頻數據的全局特征對所述音頻數據進行識別；

其中，所述至少兩幀子音頻數據中的每一幀音頻數據的長度相同，或者不同；

所述基于每幀所述子音頻數據對應的所述至少一個維度的特征信息確定出每幀所述子音頻數據的特征，包括：

將每幀所述子音頻數據對應的多個不同維度的高級特征信息進行聚合串聯，并對串聯之后的多個不同維度的高級特征信息進行卷積操作、激活操作以及規整操作，以確定出每幀所述子音頻數據的特征。

2.如權利要求1所述的音頻識別方法，其特征在于，所述基于每幀所述子音頻數據的特征確定出所述音頻數據的全局特征，包括：

計算出每幀所述子音頻數據的特征對應的重要性系數；

利用每幀所述子音頻數據的特征乘以對應的重要性系數，得到每幀所述子音頻數據的新特征；

計算所有子音頻數據的新特征的均值和/或方差，將所述均值和/或方差作為所述全局特征輸出。

3.如權利要求1所述的音頻識別方法，其特征在于，所述獲取音頻數據，包括：

確定所述音頻數據的目標特征的特征值；

對所述特征值進行規整處理，得到處理后的音頻數據，其中，所述規整處理用于將所述目標特征的特征值的平均值規整至預定數值。

4.一種音頻識別模型的訓練方法，其特征在于，所述方法包括：

獲取待訓練音頻數據，對所述待訓練音頻數據進行說話人標注得到標注結果；

將所述待訓練音頻數據輸入至音頻識別模型的分片層，以將所述待訓練音頻數據進行分片得到至少兩幀子音頻數據；

將每幀子音頻數據輸入至所述音頻識別模型的局部特征關注層，以確定每幀子音頻數據對應的至少一個維度的特征信息；

將每幀所述子音頻數據對應的所述至少一個維度的特征信息輸入至所述音頻識別模型的聚合層，以基于每幀所述子音頻數據對應的所述至少一個維度的特征信息確定出每幀所述子音頻數據的特征；

將每幀所述子音頻數據的特征輸入至所述音頻識別模型的全局特征關注層，以基于每幀所述子音頻數據的特征確定出所述待訓練音頻數據的全局特征；

將所述待訓練音頻數據的全局特征輸入至所述音頻識別模型的全連接層，以基于所述待訓練音頻數據的全局特征對所述待訓練音頻數據進行識別以得到識別結果；

基于所述標注結果和所述識別結果對所述音頻識別模型進行訓練；

其中，所述至少兩幀子音頻數據中的每一幀音頻數據的長度相同，或者不同；

所述基于每幀所述子音頻數據對應的所述至少一個維度的特征信息確定出每幀所述子音頻數據的特征，包括：

將每幀所述子音頻數據對應的多個不同維度的高級特征信息進行聚合串聯，并對串聯之后的多個不同維度的高級特征信息進行卷積操作、激活操作以及規整操作，以確定出每幀所述子音頻數據的特征。

5.一種音頻識別裝置，其特征在于，所述裝置包括：

分片模塊，用于獲取音頻數據，并將所述音頻數據進行分片得到至少兩幀子音頻數據；

局部特征關注模塊，用于確定所述子音頻數據對應的至少一個維度的特征信息；

聚合模塊，用于基于每幀所述子音頻數據對應的至少一個維度的特征信息確定出每幀所述子音頻數據的特征；

全局特征關注模塊，用于基于每幀所述子音頻數據的特征確定出所述音頻數據的全局特征；

全連接模塊，用于基于所述音頻數據的所述全局特征對所述音頻數據進行識別；

其中，所述至少兩幀子音頻數據中的每一幀音頻數據的長度相同，或者不同；

所述聚合模塊還用于：

將每幀所述子音頻數據對應的多個不同維度的高級特征信息進行聚合串聯，并對串聯之后的多個不同維度的高級特征信息進行卷積操作、激活操作以及規整操作，以確定出每幀所述子音頻數據的特征。