[發明專利]說話人識別方法、相關設備及可讀存儲介質

有效

• 申請號: 202010986890.3
• 申請日: 2020-09-18
• 公開（公告）號: CN112133311B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 石周;高天
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L17/00
• 分類號: G10L17/00;G10L17/02;G06V40/16;G06V10/774
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張子寬

1.一種說話人識別方法，其特征在于，包括：

獲取說話人的人臉圖像和所述說話人的語音信號；

基于所述說話人的人臉圖像，利用人臉圖像處理模型生成所述說話人的人臉身份特征；

利用說話人識別模型，基于所述說話人的語音信號，和，所述說話人的人臉身份特征，生成所述說話人的識別結果；

其中，所述說話人識別模型以訓練說話人的語音信號和人臉身份特征為訓練樣本，以訓練說話人的身份標簽為樣本標簽，經預先訓練得到；

其中，輸入的訓練人臉圖像的樣本標簽包括人臉姿態標簽和人臉身份標簽；

則所述人臉圖像處理模型的訓練過程，包括：

利用人臉圖像處理模型的身份自編碼模塊，對輸入的訓練人臉圖像進行編碼，得到所述訓練人臉圖像的人臉身份特征；

利用所述人臉圖像處理模型的解碼重構模塊，至少對所述訓練人臉圖像的人臉身份特征進行解碼重構，得到與所述訓練人臉圖像對應的重構圖像；

基于所述訓練人臉圖像，和，與所述訓練人臉圖像對應的重構圖像，確定重構損失；

基于訓練人臉圖像的人臉姿態標簽，和，訓練人臉圖像的人臉姿態特征，確定姿態分類損失；

基于訓練人臉圖像的人臉身份標簽，和，訓練人臉圖像的人臉姿態特征，確定對抗分類損失；

以所述重構損失、所述姿態分類損失和所述對抗分類損失作為損失函數，訓練所述人臉圖像處理模型。

2.根據權利要求1所述的方法，其特征在于，所述基于所述說話人的人臉圖像，生成所述說話人的人臉身份特征，包括：

利用人臉圖像處理模型對所述說話人的人臉圖像進行編碼，生成所述說話人的人臉身份特征。

3.根據權利要求2所述的方法，其特征在于，所述人臉圖像處理模型的訓練過程，還包括：

利用所述人臉圖像處理模型的姿態自編碼模塊，對輸入的訓練人臉圖像進行編碼，得到所述訓練人臉圖像的人臉姿態特征；

所述利用所述人臉圖像處理模型的解碼重構模塊，至少對所述訓練人臉圖像的人臉身份特征進行解碼重構，得到與所述訓練人臉圖像對應的重構圖像，包括：

利用所述人臉圖像處理模型的解碼重構模塊，對所述訓練人臉圖像的人臉身份特征和所述訓練人臉圖像的人臉姿態特征進行解碼重構，得到與所述訓練人臉圖像對應的重構圖像。

4.根據權利要求3所述的方法，其特征在于，所述利用人臉圖像處理模型對所述說話人的人臉圖像進行編碼，生成所述說話人的人臉身份特征，包括：

利用所述身份自編碼模塊，對所述說話人的人臉圖像進行編碼，生成所述說話人的人臉身份特征。

5.根據權利要求1所述的方法，其特征在于，所述利用說話人識別模型對所述說話人的語音信號，和，所述說話人的人臉身份特征進行識別，生成所述說話人的識別結果，包括：

利用所述說話人識別模型的聲紋特征提取模塊，對所述說話人的語音信號進行特征提取，生成所述說話人的聲紋特征；

利用所述說話人識別模型的特征融合模塊，將所述說話人的人臉身份特征和所述說話人的聲紋特征進行融合，生成所述說話人的身份特征；

利用所述說話人識別模型的識別模塊，基于所述說話人的身份特征，生成所述說話人的識別結果。