[發明專利]支持多語言混合的語音識別方法、裝置、設備及存儲介質

在審

• 申請號: 202110481677.1
• 申請日: 2021-04-30
• 公開（公告）號: CN113192487A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 鄢楷強;魏韜;馬駿;王少軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L15/16
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 王迎;袁文婷

1.一種支持多語言混合的語音識別方法，其特征在于，所述方法包括：

獲取訓練數據的語音特征；

通過至少兩個平行網絡獲取與所述語音特征分別對應的高維特征；

對所述平行網絡輸出的高維特征進行特征拼接，并獲取與所述訓練數據對應的拼接特征；

基于所述拼接特征訓練神經網絡模型，直至所述神經網絡模型收斂至預設范圍內，形成語音識別模型；

通過所述語音識別模型對待識別的多語言混合信號進行語音識別。

2.如權利要求1所述的支持多語言混合的語音識別方法，其特征在于，所述獲取訓練數據的語音特征的步驟包括：

對所述訓練數據進行頻譜分析，獲取與所述訓練數據對應的語譜圖；

利用預設卷積神經網絡對所述語譜圖進行特征提取，獲取與所述訓練數據對應的所述語音特征。

3.如權利要求1所述的支持多語言混合的語音識別方法，其特征在于，所述獲取訓練數據的語音特征的步驟包括：

預先訓練語音特征提取模型；

將所述訓練數據輸入所述語音特征提取模型，通過所述語音特征提取模型對所述訓練數據進行編碼，以獲取所述訓練數據的隱層特征；

對所述隱層特征進行非線性空間映射，獲取與所述訓練數據對應的所述語音特征。

4.如權利要求3所述的支持多語言混合的語音識別方法，其特征在于，

所述訓練數據包括有標注的語音信號數據以及無標注的語音信號數據；

所述有標注的語音信號數據采用數據集或語料庫中的標注數據，或者人工、標注模型完成標注的標注數據。

5.如權利要求1所述的支持多語言混合的語音識別方法，其特征在于，所述通過至少兩個平行網絡獲取與所述語音特征分別對應的高維特征的步驟包括：

基于預設的單一語種的語料一，獲取與所述語料一對應的語音特征一，基于所述語音特征一訓練所述平行網絡中的一個網絡；同時，

基于預設的另一語種的語料二，獲取與所述語料二對應的語音特征二，基于所述語音特征二訓練所述平行網絡中的另一網絡，循環執行上述步驟，直至所有平行網絡訓練完成；

基于訓練完成的平行網絡，獲取與所述訓練數據的語音特征分別對應的高維特征。

6.如權利要求1所述的支持多語言混合的語音識別方法，其特征在于，所述對所述平行網絡輸出的高維特征進行特征拼接的步驟包括：

對各高維特征進行加和平拼接和/或串聯拼接；并且，

所述各高維特征在所述拼接特征中的占比可調。

7.如權利要求1所述的支持多語言混合的語音識別方法，其特征在于，所述通過所述語音識別模型對待識別的多語言混合信號進行語音識別的識別結果包括：

所述待識別的多語言混合信號中不同語種的發音單元進行合并，且所述各不同語種之間相互獨立；或者，

所述待識別的多語言混合信號中不同語種且相似度符合預設要求的發音單元重新映射到共同的目標發音單元，形成不同語種的部分獨立和部分融合；

或者，所述待識別的多語言混合信號中不同語種全部映射到預設通用發音規則上，形成不同語種的完全融合。

8.一種支持多語言混合的語音識別裝置，其特征在于，所述裝置包括：

語音特征獲取單元，用于獲取訓練數據的語音特征；

高維特征獲取單元，用于通過至少兩個平行網絡獲取與所述語音特征分別對應的高維特征；

拼接特征獲取單元，用于對所述平行網絡輸出的高維特征進行特征拼接，并獲取與所述訓練數據對應的拼接特征；

語音識別模型形成單元，用于基于所述拼接特征訓練神經網絡模型，直至所述神經網絡模型收斂至預設范圍內，形成語音識別模型；

語音識別單元，用于通過所述語音識別模型對待識別的多語言混合信號進行語音識別。