[發明專利]說話人確認方法和裝置

有效

• 申請號: 201911412555.6
• 申請日: 2019-12-31
• 公開（公告）號: CN111081255B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 俞凱;錢彥旻;楊葉新;王帥;龔勛
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G10L17/00
• 分類號: G10L17/00;G10L17/02;G10L17/18;G10L17/04;G10L17/14;G10L25/30
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;鄧婷婷

本發明公開說話人確認方法和裝置，其中，一種說話人確認方法，包括將音頻數據輸入至通用特征提取器以提取預設特征；將提取的所述預設特征分別輸入說話人分類子網絡和音素分布預測子網絡，其中，經過所述說話人分類子網絡提取得到說話人嵌入，經過所述音素分布預測子網絡提取得到文本嵌入；將所述說話人嵌入和所述文本嵌入通過合并子網絡，合并得到說話人嵌入和文本嵌入的單個嵌入；以及基于所述單個嵌入進行說話人確認。

技術領域

本發明屬于說話人確認技術領域，尤其涉及說話人確認方法和裝置。

背景技術

現有技術中，說話人驗證(SV，speaker verification)旨在根據客戶的講話來驗證客戶所聲稱的身份。考慮到語音內容的限制，說話人驗證可以分為兩類：與文本有關和與文本無關。前一項任務要求注冊和測試發音具有相同的語音內容，而后者則沒有此要求，從而為用戶提供了更大的靈活性。

對于文本無關的說話人驗證任務，通常在大量不受約束的語音數據上訓練說話人嵌入提取器，對文本信息進行隱式標準化，這是有益的，因為最終的說話人嵌入應擺脫語音變異性。盡管在與文本無關的任務上表現良好，但是將相同的模型直接應用于與文本無關的任務仍然是有問題的，對此，文本信息很重要。解決這種性能下降的常見方法是收集與評估數據具有相同語音內容的訓練數據，并且該方法通常被公司用于基于喚醒詞的說話人驗證。但是，重新收集特定于應用程序的訓練數據可能非常昂貴且缺乏靈活性。

在實際應用中，挑戰不僅來自訓練數據和評估數據的文本不匹配，而且還來自評估中注冊和測試數據之間的文本不匹配。例如，在實際應用中，用戶通常希望使用多個關鍵字來喚醒智能設備，這很常見。例如，Google設備允許“OK Google”和“Hey Google”。一些應用程序甚至涉及更多不同的關鍵字。

目前市面上已有的文本相關的說話人確認系統，它要求說話人注冊文本與測試文本相一致，在判斷說話人是否正確的同時也需要判斷文本內容是否匹配。通常這樣的場景出現在基于喚醒詞的說話人確認中，但是預收集數據與實際測試數據的文本不匹配會極大影響說話人確認系統的性能。對于訓練數據與評估數據的文本不匹配，通常采用的做法是收集目標語音內容的數據，在此之上訓練說話人確認模型。但對于注冊數據與測試數據的文本不匹配，市面上還沒有解決此問題的成熟方法。

現有技術的方案，在訓練階段，使用深度神經網絡在具有目標語音內容的數據訓練一個說話人分類的任務，這樣子可以默認網絡隱式地學習了文本信息。在測試階段，先要求說話人進行注冊，將注冊語音輸入到神經網絡，從中間層提取向量，作為說話人嵌入對注冊者進行建模。將注冊得到的說話人嵌入與實際測試語音的說話人進行cosine或者PLDA打分，根據得分高低判斷是否注冊與測試的說話人以及文本一致。

發明人在實現本申請的過程中發現，現有方案至少存在以下缺陷：

需要收集大量具有目標語音內容的數據，這通常需要耗費大量人力物力。并且如果目標文本改變，需要重新收集新的數據，十分不靈活。

發明內容

本發明實施例提供一種說話人確認方法和裝置，用于至少解決上述技術問題之一。

第一方面，本發明實施例提供一種說話人確認方法，包括：將音頻數據輸入至通用特征提取器以提取預設特征；將提取的所述預設特征分別輸入說話人分類子網絡和音素分布預測子網絡，其中，經過所述說話人分類子網絡提取得到說話人嵌入，經過所述音素分布預測子網絡提取得到文本嵌入；將所述說話人嵌入和所述文本嵌入通過合并子網絡，合并得到說話人嵌入和文本嵌入的單個嵌入；以及基于所述單個嵌入進行說話人確認。