[發明專利]后創建聲紋的會議語音轉寫方法、裝置及存儲介質

在審

• 申請號: 202011069637.8
• 申請日: 2020-10-09
• 公開（公告）號: CN111933144A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 皮慧斌;邊翀;栗紅霞;梁祎;管明堯;韓哲吉
• 申請（專利權）人: 融智通科技（北京）股份有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L17/00;G10L17/02;G10L17/04;G10L17/06;G10L25/24
• 代理公司: 北京眾元弘策知識產權代理事務所(普通合伙) 11462
• 代理人: 李超

1.一種后創建聲紋的會議語音轉寫方法，其特征在于包括：

步驟1、對會議語音文件進行轉寫，生成會議記錄文本文件；

步驟2、通過操作開始播放/停止播放按鈕，從會議語音文件中選取語音片段及該語音片段開始時間至結束時間對應的文本片段；

步驟3、對所選取的語音片段及其對應的文本片段進行標記；

步驟4、確認語音片段對應的發言人身份信息，將該語音片段作為所述發言人的聲音數據進行聲紋特征提取，創建所述發言人的聲紋；

步驟5、判斷是否存在未創建聲紋的發言人，如果存在則返回步驟2，否則執行步驟6；

步驟6、在已創建聲紋的情況下，重新對會議語音文件進行轉寫，檢查是否存在不能識別的發言人；如果不存在不能識別的發言人，則完成會議語音轉寫；如果存在不能識別的發言人，則標記為未知發言人。

2.根據權利要求1所述的會議語音轉寫方法，其特征在于：

在步驟6中，還包括針對未知發言人進行如下處理：

獲取未知發言人的語音片段，接收經用戶核實確認的發言人身份，如果發言人的聲紋已創建，使用該“未知發言人的語音片段”對該發言人的聲紋進行修正；如果發言人的聲紋尚未創建，則返回步驟2的方法創建該發言人的聲紋。

3.根據權利要求1所述的會議語音轉寫方法，其特征在于：

創建聲紋的方法包括：

對語音進行預處理和特征提取，然后通過聲紋模型訓練得到該發言人的聲紋模型；所述預處理方法包括靜音檢測、去噪、解混響；

提取到的特征包括MFCC，使用的聲紋模型算法是GMM-UBM聯合模型，即高斯混合模型-通用背景模型聯合模型；

MFCC即梅爾頻率倒譜系數，計算方法是：對輸入的語音進行預加重和分幀，然后施加漢明加窗處理后進行快速傅里葉變換，對得到的特征進行幅度壓制，得到能量譜；通過三角窗函數將能量譜映射到梅爾刻度，從而完成梅爾濾波，再取對數后經過離散余弦變換得到轉換后的頻譜即MFCC。

4.根據權利要求1所述的會議語音轉寫方法，其特征在于：

步驟6中如果存在不能識別的發言人，則進行識別失敗原因判斷，原因包括噪聲和/或多人同時發言；

當識別到兩人及兩人以上同時發言時，判定為多人同時發言，記錄下多人發言的起止時間，對相應起止時間段內，增加多人發言標記，并將該起止時間段內的語音片段標記為混合語音片段。

5.根據權利要求4所述的會議語音轉寫方法，其特征在于：

對多人同時發言的混合語音片段進行語音分離處理，包括：

對混合語音片段進行噪音分離處理后進行特征提取；

將已獲取的每個聲紋特征分別與混合語音特征進行相似度計算；

將相似度最高的聲紋特征的所有者作為該段混合語音片段的主要發言人；

將主要發言人與該段混合語音片段轉換成的文字記錄進行匹配。

6.根據權利要求1所述的會議語音轉寫方法，其特征在于：

在語音轉寫的過程中，將各語音片段轉成文字，同時識別該語音片段的發言人，即聲紋識別過程。

7.根據權利要求6所述的會議語音轉寫方法，其特征在于：

聲紋識別過程包括：

按創建聲紋過程中的方法對語音片段進行特征提取，然后將該聲紋特征通過聲紋數據庫中的已有發言人的聲紋模型進行打分判決，選取匹配度最高并且可信、即大于最低置信度的聲紋模型，以此聲紋模型的所有者，作為發言人，如未能匹配上，則標記為未知發言人。

8.根據權利要求1所述的會議語音轉寫方法，其特征在于：

還包括聲紋模型測試的步驟，用于驗證已采集聲紋模型的有效性，包括：

用戶選定已知發言人的至少一個語音片段；

識別該語音片段的發言人，如果識別出的發言人與已知發言人一致則通過測試，否則重新創建該已知發言人的聲紋。