[發明專利]一種基于時間潛在域特定說話人信息的目標語音提取方法

有效

• 申請號: 202011376556.2
• 申請日: 2020-11-30
• 公開（公告）號: CN112562706B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 蘭海燕;肖飛揚;柳友德;蘭宇晨;關鍵;田左;王愷瀚;謝明杰;蘆瑤;董喆
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G10L21/02
• 分類號: G10L21/02;G10L21/0208;G10L25/03
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種基于時間潛在域特定說話人信息的目標語音提取方法，包括時間潛在域特征轉換模型、目標說話人特征信息指導器與增強提取模塊；待處理的復雜聲學環境語音信息經過時間潛在域特征轉換模型的處理將映射到潛在空間的特征矩陣，此特征矩陣將分別進入目標說話人特征信息指導器與增強提取模塊；在目標說話人特征信息指導器中，特征矩陣將被判定為與某一特定的目標說話人潛在特征具有相關性，或者不包含目標說話人特征。本發明能實現從復雜聲學環境語音信號到特定目標語音信號的端到端處理，能高效提取出針對特定任務的目標說話人信息，而不受其他干擾信號的影響，保障了模型傳遞給后續任務的特定目標語音信號具備極高的語音質量與可感知性。

技術領域

本發明涉及一種目標語音提取方法，尤其涉及一種基于時間潛在域特定說話人信息的目標語音提取方法。

背景技術

信息時代的社會生活中，人類語言語音信息的高效率利用越來越吸引目光，在現代生活紛繁復雜的聲學環境下，如何將其中滿足特定任務需求的特定目標說話人語音單獨提取，關系到了人們對目標信息的第一重感知是否清晰直觀。

該問題實際上可視作對“雞尾酒會問題”的新求解思路，在機器進行語音語言處理任務的過程中為其學習聲音信號源之間的區別提供了新思路，從而獲得新的學習信息與更好的目標說話人提取性能。當前進行類似任務的多是僅考慮到語音/非語音場景下的噪聲信息消除、混響消除與語音質量增強工作，但這些工作都沒有對實際需求的目標說話人音源信息進行學習。因此，上述方法在語音/語音混合場景，即多說話人復雜場景下的表現差強人意，基于說話人信息的目標語音信息提取正是為進一步解決這些不足而進行的新研究領域。

同時，傳統的復數域時頻語音信息在處理過程中會面臨固有的相位信息缺失問題，盡管很多研究人員嘗試改善，但效果仍不理想。而為了解決這一問題本發明提出在時間潛在空間域進行特征提取，進而完全避免了這一相位缺失問題的發生，獲取了更好的目標語音提取性能。

滿足需求的目標說話人語音信息可以用于人機交互、遠程通信、語音風格遷移、人工耳蝸等等多種具體應用場景，具備更強的抗干擾能力與泛化性能。特定目標說話人的語音提取能夠滿足針對特定工作人員的操作需求與后續任務，有力地對接通信、醫療、影音娛樂、軍工開發等國計民生的重要領域，具備巨大的研究價值與實際意義。

發明內容

為滿足實際場景中具體任務對特定目標說話人信息的需求，提升具體任務中信息獲取的效率，本發明提供一種基于時間潛在域特定說話人信息的目標語音提取方法。

本發明的目的是這樣實現的：

一種基于時間潛在域特定說話人信息的目標語音提取方法，包括時間潛在域特征轉換模型、目標說話人特征信息指導器與增強提取模塊：

待處理的復雜聲學環境語音信息經過時間潛在域特征轉換模型的處理將映射到潛在空間的特征矩陣，此特征矩陣將分別進入目標說話人特征信息指導器與增強提取模塊；在目標說話人特征信息指導器中，特征矩陣將被判定為與某一特定的目標說話人潛在特征具有相關性，或者不包含目標說話人特征，判定得到的編碼特征會回傳到增強提取模塊，當編碼特征表明特征矩陣與某一目標說話人相關時，增強提取模塊的計算過程將全程考慮到這一編碼信息，從而接收目標說話人特征信息指導器的指導功能，而當編碼特征表明特征矩陣不包含目標說話人信息時，增強提取模塊將停止對目標信息的提取，并輸出“無目標信息的提示”，與此同時將原始語音進行“無目標信息指導”的語音增強處理。

本發明還包括這樣一些特征：

所述時間潛在域特征轉換模型的損失計算借助語音信號信噪比計算實現，信噪比計算公式如下所示：

所述目標說話人特征信息指導器使用了注意力機制強化了對目標特有特征的關注程度，其編碼特征直接作用于后續增強過程時不考慮損失計算，直接與總體提取增強模塊共同訓練，而其目標預測功能通過已經成熟的交叉熵損失實現梯度更新過程：