[發明專利]說話人信息提取模型的訓練方法、裝置和計算機設備

有效

• 申請號: 202010542435.4
• 申請日: 2020-06-15
• 公開（公告）號: CN111429923B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 徐泓洋;太榮鵬;溫平
• 申請（專利權）人: 深圳市友杰智新科技有限公司
• 主分類號: G10L17/04
• 分類號: G10L17/04;G10L17/02;G10L17/18;G10L15/26;G10L13/04
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝

本申請涉及說話人信息提取模型的訓練方法，包括：將語音合成系統與語音識別系統，通過說話人信息提取模型關聯為訓練體系；從音頻處理結果中去除說話人信息提取模型提取語音數據對應的文本內容信息后的剩余數據信息，得到第一高維向量，獲取文本處理網絡處理第一數據對的文本數據輸出的第二高維向量；訓練音頻處理網絡、文本處理網絡和說話人信息提取模型，至損失函數達最小值時訓練收斂；將音頻處理網絡和音頻恢復網絡組合成處理音頻的網絡，將文本處理網絡和文本恢復網絡組合成處理文本的網絡；訓練處理音頻的網絡和說話人信息提取模型至收斂，以獲取說話人信息提取模型的參量集合。提高說話人信息提取模型的泛化能力。

技術領域

本申請涉及到聲紋識別領域，特別是涉及到說話人信息提取模型的訓練方法、裝置和計算機設備。

背景技術

聲紋識別，是一種提取能夠唯一代表說話人身份信息的技術，分為文本相關和文本無關兩種情況。文本相關是指說話人必須說指定內容的話才會被識別。文本無關的說話人識別是指不需要說特定內容，只要有說話聲音就會識別。一般基于監督學習的方法來訓練模型。此外還有開集和閉集之分，主要是針對模型的識別范圍來說，開集是指聲紋識別模型可識別的對象不限制在訓練數據集內，而閉集是指聲紋識別模型只能識別訓練集中出現的人。實際應用中主要用的是以開集對應的應用場景為主，則需要構建一個泛化能力強的聲紋提取模型，但依據現有技術，需要大量的帶有說話人標簽的數據，且每個說話人的音頻數據都要有足夠時長的聲音，以通過增大數據集的數據量，提高聲紋識別模型的泛化能力，數據集越大泛化能力越好，但這意味著超高的成本且計算量大超大，所以現有聲紋識別網絡的泛化能力不能較好地滿足使用需求。

發明內容

本申請的主要目的為提供說話人信息提取模型的訓練方法，旨在解決現有聲紋識別網絡的泛化能力不能較好地滿足使用需求的技術問題。

本申請提供了說話人信息提取模型的訓練方法，包括：

將語音合成系統與語音識別系統，通過所述說話人信息提取模型關聯為訓練體系，其中，所述語音合成系統包括依次連接的文本處理網絡和音頻恢復網絡，所述語音識別系統包括依次連接的音頻處理網絡和文本恢復網絡，所述說話人信息提取模型分別與所述音頻恢復網絡關聯，以及與所述音頻處理網絡關聯；

獲取所述音頻處理網絡處理訓練集中的第一數據對的語音數據得到的音頻處理結果，獲取所述說話人信息提取模型提取的剩余數據信息，獲取所述文本處理網絡處理所述第一數據對的文本數據輸出的第二高維向量，其中，所述訓練集由語音數據和文本數據形成的數據對組成，所述第一數據對為訓練集中的任意數據對，所述剩余數據信息為所述語音數據對應的文本內容信息之外的信息，所述剩余數據信息包括說話人的聲紋信息；

從所述音頻處理結果中去除所述剩余數據信息，得到第一高維向量；

通過損失函數在所述訓練集上訓練所述音頻處理網絡、所述文本處理網絡和所述說話人信息提取模型，至所述損失函數達最小值時訓練收斂，其中，所述損失函數為所述第一高維向量和第二高維向量的空間距離；

訓練收斂后，固定所述音頻處理網絡對應的第一參量集合以及所述文本處理網絡對應的第二參量集合；

將所述音頻處理網絡和所述音頻恢復網絡組合成處理音頻的網絡，將所述文本處理網絡和所述文本恢復網絡組合成處理文本的網絡；

在固定所述第一參量集合的狀態下，通過所述損失函數訓練所述處理音頻的網絡和所述說話人信息提取模型至收斂，以獲取所述音頻恢復網絡對應的第三參量集合和所述說話人信息提取模型對應的第四參量集合；

將所述第四參量集合下的說話人信息提取模型，作為預訓練的說話人信息提取模型。