[發明專利]語種識別方法及裝置、訓練方法及裝置、介質、終端

有效

• 申請號: 201810135218.6
• 申請日: 2018-02-09
• 公開（公告）號: CN108389573B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 楊嵩;張邦鑫;黃琰;楊松帆;陳飛
• 申請（專利權）人: 北京世紀好未來教育科技有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L15/08;G10L15/24
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 唐博

1.一種語種識別方法，其特征在于，包括：

獲取待識別視頻的語音識別特征以及唇語識別特征，其中，唇語識別特征通過如下方式獲得：對所述待識別視頻中的圖像進行人臉和唇部的定位后，基于像素的方法或者基于模型的方法，或者基于二者的結合獲取唇語識別特征；

對所述語音識別特征進行識別以獲取語音音素序列，計算所述語音音素序列為預設語種的語音語種概率；

對所述唇語識別特征進行識別以獲取唇語音素序列，計算所述唇語音素序列為預設語種的唇語語種概率；

根據所述語音語種概率以及所述唇語語種概率判斷所述待識別視頻的語種類型。

2.根據權利要求1所述的語種識別方法，其特征在于，在獲取待識別視頻的語音識別特征以及唇語識別特征之前還包括：對待分段視頻進行端點檢測，以獲取所述待識別視頻。

3.根據權利要求2所述的語種識別方法，其特征在于，在判斷所述待識別視頻的語種類型之后還包括：根據所述待分段視頻中各個所述待識別視頻的識別結果，確定所述待分段視頻中不同語種所占的比例。

4.根據權利要求1所述的語種識別方法，其特征在于，所述語音識別特征為PLP特征或Fbank特征。

5.根據權利要求1所述的語種識別方法，其特征在于，基于HMM模型以及其中使用異常數據訓練的Sil模型獲取所述語音音素序列；和/或，基于HMM模型以及其中使用異常數據訓練的Sil模型獲取所述唇語音素序列。

6.根據權利要求5所述的語種識別方法，其特征在于，根據所述Sil模型識別異常發音的音素為Sil音素。

7.根據權利要求1所述的語種識別方法，其特征在于，所述預設語種為一種或多種。

8.根據權利要求7所述的語種識別方法，其特征在于，所述預設語種為兩種，分別為英文和中文；所述語音音素序列包括中文語音音素序列和英文語音音素序列；所述唇語音素序列包括中文唇語音素序列和英文唇語音素序列；

對所述語音識別特征進行識別以獲取語音音素序列包括：對所述語音識別特征進行中文識別，以獲取所述中文語音音素序列；對所述語音識別特征進行英文識別，以獲取所述英文語音音素序列；

對所述唇語識別特征進行識別以獲取唇語音素序列包括：對所述唇語識別特征進行中文識別，以獲取所述中文唇語音素序列；對所述唇語識別特征進行英文識別，以獲取所述英文唇語音素序列；

所述語音語種概率包括所述英文語音音素序列為英文的語音英文概率、以及所述中文語音音素序列為中文的語音中文概率，所述唇語語種概率包括所述英文唇語音素序列為英文的唇語英文概率、以及所述中文唇語音素序列為中文的唇語中文概率。

9.根據權利要求8所述的語種識別方法，其特征在于，根據所述語音語種概率以及所述唇語語種概率判斷所述待識別視頻的語種類型包括：根據所述語音英文概率、語音中文概率、唇語英文概率以及唇語中文概率判斷所述待識別視頻的語種類型。

10.根據權利要求1所述的語種識別方法，其特征在于，利用N-gram模型計算所述語音音素序列的為預設語種的語音語種概率；和/或，利用N-gram模型所述唇語音素序列為預設語種的唇語語種概率。

11.根據權利要求10所述的語種識別方法，其特征在于，所述N-gram模型中N值取2。

12.根據權利要求1所述的語種識別方法，其特征在于，根據所述語音語種概率以及所述唇語語種概率判斷所述待識別視頻的語種類型包括：利用分類器判斷所述待識別視頻的語種類型。