[發明專利]語音分離方法、語音識別方法及電子設備

有效

• 申請號: 201910294425.0
• 申請日: 2019-04-12
• 公開（公告）號: CN110070882B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 陳聯武;于蒙;蘇丹;俞棟
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L21/0272
• 分類號: G10L21/0272;G10L21/0308;G10L25/30;G06N3/08;G06N3/04
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

本發明實施例提供了一種語音分離方法、語音識別方法及電子設備。該語音分離方法包括：獲取包括至少兩個目標對象的語音信號的混合語音信號；獲取所述混合語音信號對應的全語音頻段的單通道頻譜特征和多通道方位特征，所述全語音頻段包括K個子頻段，K為大于等于2的正整數；從所述全語音頻段的單通道頻譜特征和多通道方位特征中，提取K個子頻段的單通道頻譜特征和多通道方位特征；通過K個第一神經網絡對所述K個子頻段的單通道頻譜特征和多通道方位特征進行處理，獲得K個第一特征向量；根據所述K個第一特征向量生成合并特征向量；通過第一預測網絡對所述合并特征向量進行處理，獲得所述混合語音信號中各目標對象的第一語音頻譜掩碼矩陣。

技術領域

本發明涉及計算機技術領域，具體而言，涉及一種語音分離方法、語音識別方法及電子設備。

背景技術

在嘈雜的聲學環境中，比如在雞尾酒會中，往往同時存在著許多不同的聲源：多個人同時說話的聲音、餐具的碰撞聲、音樂聲等雜音，以及這些聲音經墻壁和室內的物體反射所產生的反射聲等。在聲波的傳遞過程中，不同聲源所發出的聲波之間(不同人說話的聲音以及其他物體振動發出的聲音)以及直達聲和反射聲之間會在傳播介質(通常是空氣)中相疊加而形成復雜的混合聲波。

因此，在達到聽者外耳道的混合聲波中已經不存在獨立的與多個聲源相對應的聲波了。然而，在這種聲學環境下，人類的聽覺系統卻能在一定程度上聽清楚其所注意的目標語音，而機器在這方面的能力還不如人類。

因此，在語音信號處理領域，如何能夠實現在嘈雜環境中分離出目標語音的功能是目前亟待解決的技術問題。

發明內容

本發明實施例的目的在于提供一種語音分離方法、語音識別方法及電子設備，進而至少在一定程度上實現在嘈雜環境中分離出目標語音。

本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

根據本發明實施例的一個方面，提供了一種語音分離方法，所述方法包括：獲取包括至少兩個目標對象的語音信號的混合語音信號；獲取所述混合語音信號對應的全語音頻段的單通道頻譜特征和多通道方位特征，所述全語音頻段包括K個子頻段，K為大于等于2的正整數；從所述全語音頻段的單通道頻譜特征和多通道方位特征中，提取K個子頻段的單通道頻譜特征和多通道方位特征；通過K個第一神經網絡對所述K個子頻段的單通道頻譜特征和多通道方位特征進行處理，獲得K個第一特征向量；根據所述K個第一特征向量生成合并特征向量；通過第一預測網絡對所述合并特征向量進行處理，獲得所述混合語音信號中各目標對象的第一語音頻譜掩碼矩陣。

在本發明的一些示例性實施例中，所述方法還包括：根據各目標對象的第一語音頻譜掩碼矩陣和所述混合語音信號，獲得各目標對象的第一語音頻譜。

在本發明的一些示例性實施例中，K的取值范圍為[2,8]之間的正整數。

在本發明的一些示例性實施例中，所述單通道頻譜特征包括對數功率譜；所述多通道方位特征包括多通道相位差特征和/或多通道幅度差特征。

在本發明的一些示例性實施例中，K個第一神經網絡中的各第一神經網絡包括LSTM、DNN、CNN中的任意一個或者多個。

根據本發明實施例的一個方面，提供了一種語音分離方法，所述方法包括：獲取包括至少兩個目標對象的語音信號的混合語音信號；獲取所述混合語音信號對應的單通道頻譜特征和多通道方位特征；通過重疊判斷模型對所述單通道頻譜特征和多通道方位特征進行處理，獲得所述混合語音信號中的目標對象之間是否存在重疊的判斷結果，所述重疊判斷模型用于判斷目標對象之間是否存在空間上的重疊；根據所述判斷結果確定所述混合語音信號中各目標對象的目標語音頻譜掩碼矩陣。