[發明專利]多語種混說語音的語種識別方法及裝置

在審

• 申請號: 202010043379.X
• 申請日: 2020-01-15
• 公開（公告）號: CN113205795A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 陳運兵
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L15/08;G10L15/26
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

1.一種多語種混說語音的語種識別方法，其特征在于，包括：

對待識別多語種混說語音數據進行端點檢測，得到多幀語音狀態信息；

將所有的語音狀態信息輸入至語種識別模型，輸出所述待識別多語種混說語音數據中每一幀語音狀態信息所屬的語種；

其中，所述語種識別模型是基于多語種混說語音樣本以及預先確定的多語種混說語音樣本中每一幀語音狀態信息所屬的語種進行訓練后得到。

2.根據權利要求1所述的多語種混說語音的語種識別方法，其特征在于，將所有的語音狀態信息輸入至語種識別模型，輸出所述待識別多語種混說語音數據中每一幀語音狀態信息所屬的語種，具體包括：

將所有的語音狀態信息輸入至所述語種識別模型中的編碼端，輸出每一幀語音狀態信息的高維語音特征；

將所有的高維語音特征輸入至所述語種識別模型中的解碼端，輸出每一幀語音狀態信息所屬的語種。

3.根據權利要求2所述的多語種混說語音的語種識別方法，其特征在于，所述編碼端由卷積層和全連接層組成，所述編碼端的激活函數為線性整流函數。

4.根據權利要求3所述的多語種混說語音的語種識別方法，其特征在于，所述編碼端中的卷積層的層數為四層；

所述編碼端中的全連接層的層數為兩層。

5.根據權利要求2所述的多語種混說語音的語種識別方法，其特征在于，所述解碼端為注意力機制。

6.根據權利要求5所述的多語種混說語音的語種識別方法，其特征在于，將所有的高維語音特征輸入至所述語種識別模型中的解碼端，輸出每一幀語音狀態信息所屬的語種，具體包括：

將所有的高維語音特征輸入至所述解碼端的Attend函數，輸出每一語音狀態信息的歸一化權重；

根據所有的高維語音特征和所有的歸一化權重，確定注意力向量；

基于所述注意力向量，利用Softmax函數確定每一幀語音狀態信息所屬的語種。

7.根據權利要求6所述的多語種混說語音的語種識別方法，其特征在于，利用如下公式確定所述注意力向量：

其中，c為注意力向量，T為語音狀態信息的幀數，α_t為第t幀語音狀態信息的歸一化權重，h_t為第t幀語音狀態信息的高維語音特征。

8.一種多語種混說語音的識別方法，其特征在于，包括：

采用如權利要求1-7任一項所述的多語種混說語音的語種識別方法，對待識別多語種混說語音數據進行語種識別，確定每一幀語音狀態信息所屬的語種；

分別將每一幀語音狀態信息，輸入至相應的語音識別模型，輸出每一幀語音狀態信息的文字識別結果。

9.一種多語種混說語音的語種識別裝置，其特征在于，包括：

端點檢測模塊，用于對待識別多語種混說語音數據進行端點檢測，得到多幀語音狀態信息；

語種識別模塊，用于將所有的語音狀態信息輸入至語種識別模型，輸出所述待識別多語種混說語音數據中每一幀語音狀態信息所屬的語種；

其中，所述語種識別模型是基于多語種混說語音樣本以及預先確定的多語種混說語音樣本中每一幀語音狀態信息所屬的語種進行訓練后得到。

10.一種電子設備，包括存儲器、處理器，以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時，實現如權利要求1至7任一項所述多語種混說語音的語種識別方法的步驟，或者實現如權利要求8所述多語種混說語音的識別方法的步驟。