[發明專利]一種基于深度學習的雙耳語音增強方法

有效

• 申請號: 201811646317.7
• 申請日: 2018-12-29
• 公開（公告）號: CN109448751B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 李軍鋒;孫興偉;夏日升;顏永紅
• 申請（專利權）人: 中國科學院聲學研究所
• 主分類號: G10L21/0232
• 分類號: G10L21/0232;G10L25/30
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽

本發明公開了一種基于深度學習的雙耳語音增強方法，包括：對包含待增強目標語音信號的左/右通道帶噪語音信號分別進行處理得到左/右頻域信號，并對其幅值進行組合得到單通道復數特征，利用左/右通道的頻域信號和對應的目標頻域信號理論值分別計算出對應的目標語音理想復數掩蔽，將其組合構成目標語音單通道復數掩蔽理論值，并結合單通道復數特征對復數前饋神經網絡進行訓練得到雙耳語音增強模型，利用模型輸出的目標語音單通道復數掩蔽估計值分別處理左/右通道帶噪語音信號得到左/右通道頻域信號，最后得到對應的目標語音時域信號。本方法可以抑制噪聲干擾并保持目標聲源的空間信息。充分利用深度神經網絡的泛化能力，達到雙耳語音的增強。

技術領域

本發明涉及語音增強技術領域，尤其涉及一種基于深度學習的雙耳語音增強方法。

背景技術

目前，語音增強技術主要是去除語音信號中背景噪聲以及指向性噪聲干擾，提高語音的質量和可懂度，從而在語音識別和人耳理解方面取得更好的表現。在以單通道語音為輸出的增強技術中，通過利用單通道輸入時頻域中語音和噪聲的不同特性可以抑制背景噪聲，利用多通道輸入中目標語音和干擾信號的空間信息，可以更好的去除指向性噪聲。而在雙耳聽覺中，人耳可以利用雙通道語音中目標與干擾信號的空間信息差異提高對語音的理解度，并可以利用目標聲源的空間信息進行定位。在大多數傳統的以雙通道為輸出的語音增強中，大多只考慮了去除干擾，對于目標語音的空間信息保持沒有特殊處理，并且對于非平穩的噪聲的抑制效果欠佳。

發明內容

本發明的目的在于解決現有技術存在的缺陷。

為達到上述目的，本發明公開了一種基于深度學習的雙耳語音增強方法，包括步驟：

對左通道帶噪語音信號和右通道帶噪語音信號分別進行分幀、加窗和傅里葉變換，得到左通道帶噪語音頻域信號和右通道帶噪語音頻域信號；左通道帶噪語音信號中包含待增強的左通道目標語音信號，右通道帶噪語音信號中包含待增強的右通道目標語音信號；

將左通道帶噪語音頻域信號和右通道帶噪語音頻域信號的幅值進行組合得到單通道復數特征；

利用左通道帶噪語音頻域信號和左通道目標語音頻域信號理論值計算得到左通道目標語音理想復數掩蔽；利用右通道帶噪語音頻域信號和右通道目標語音頻域信號理論值計算得到右通道目標語音理想復數掩蔽；

將左通道目標語音理想復數掩蔽和右通道目標語音理想復數掩蔽進行組合構成目標語音單通道復數掩蔽理論值；

使用單通道復數特征和目標語音單通道復數掩蔽理論值對復數前饋神經網絡進行訓練得到雙耳語音增強模型；

將單通道復數特征作為雙耳語音增強模型的輸入，輸出目標語音單通道復數掩蔽估計值，利用目標語音單通道復數掩蔽估計值分別對左通道帶噪語音頻域信號和右通道帶噪語音頻域信號進行增強，得到左通道目標語音頻域信號估計值和右通道目標語音頻域信號估計值；

對左通道目標語音頻域信號估計值和右通道目標語音頻域信號估計值分別進行逆傅里葉變換，得到左通道目標語音時域信號和右通道目標語音時域信號。

優選地，對左通道帶噪語音信號和右通道帶噪語音信號進行分幀、加窗和傅里葉變換的步驟，具體為，

對左通道帶噪語音信號和右通道帶噪語音信號分別進行分幀和加窗處理，取1024個采樣點作為一幀信號，若長度不足則先補零到1024點；然后對每一幀信號進行加窗，加窗函數采用漢明窗；最后對每一幀信號進行傅里葉變換。

優選地，單通道復數特征X_C＝|X_L|+j|X_R|，其中，j為復數虛部單位，|X_L|為左通道帶噪語音頻域信號的幅值，|X_R|為右通道帶噪語音頻域信號的幅值。

優選地，左通道目標語音理想復數掩蔽為：