[發明專利]一種基于混合式概率模型的多通道聲源分離方法

有效

• 申請號: 201911257725.8
• 申請日: 2019-12-10
• 公開（公告）號: CN112951264B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 張鵬遠;陳航艇;顏永紅
• 申請（專利權）人: 中國科學院聲學研究所;北京中科信利技術有限公司
• 主分類號: G10L21/0272
• 分類號: G10L21/0272;G10L21/0232;G10L21/0216;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 陳琳琳;楊青

1.一種基于混合式概率模型的多通道聲源分離方法，所述方法包括：

計算待分離的多聲源信號的短時傅里葉頻譜，基于預先建立的深度聚類網絡提取每個時頻點的聲源嵌入向量；

將聲源嵌入向量輸入混合式概率模型，利用期望最大化算法迭代混合式概率模型，模型收斂后輸出每個時頻點的各聲源出現概率；

利用各聲源出現概率計算噪聲能量密度矩陣和目標聲源導向矢量；

計算波束形成系數；

利用短時傅里葉頻譜、各聲源出現概率和波束形成系數，還原各聲源對應的增強后信號的頻譜。

2.根據權利要求1所述的基于混合式概率模型的多通道聲源分離方法，其特征在于，所述深度聚類網絡包括2層雙向長短時記憶網絡，1層隨機失活，1層線性層和1層非線性層；該網絡的輸入為音頻信號的對數能量譜聲學特征，所述雙向長短時記憶網絡每個方向包括600個神經元，隨機失活的系數為0.5，線性層輸入為1200維，輸出為20維，最后一層的非線性層輸出嵌入向量，使用雙曲正切函數，其表達式為：

其中，x是非線性層的輸入；

將嵌入向量歸一化為單位向量，其表達式為：

其中，為歸一化前的向量，為計算的2范數，為輸出的歸一化后的嵌入向量。

3.根據權利要求2所述的基于混合式概率模型的多通道聲源分離方法，其特征在于，所述方法還包括對深度聚類網絡進行訓練的步驟，具體包括

構建訓練深度聚類網絡的訓練樣本集；

提取訓練樣本集的音頻信號的對數能量譜聲學特征，并計算均值方差系數，對其做歸一化：

對每個通道的語音分別分幀加窗、對每一幀計算傅里葉變換得到頻譜、計算頻譜的對數能量、將各個通道的特征堆疊；此特征的維度為T×M×F，其中M為通道數，T為幀數，由窗長和窗移決定，F為頻點數，等于傅里葉變換長度的一半加1；

深度聚類網絡的學習目標為關聯矩陣U＝(u_ij)_{1≤i＜TF，1≤j＜TF}，其每個元素u_ij代表第i個和第j個時頻點是否屬于同一個聲源，如果屬于同一個聲源則等于1，否則為0；深度聚類網絡的輸出為V＝(v_ij)_{1≤i＜TF，1≤j＜TF}，其中

和分別為第i個和第j個時頻點對應的嵌入向量，(·)^T為矩陣轉置；

深度聚類網絡的損失函數為：

根據上述損失函數更新深度聚類網絡的參數；不斷迭代直至深度聚類網絡收斂；得到訓練好的深度聚類網絡。

4.根據權利要求3所述的基于混合式概率模型的多通道聲源分離方法，其特征在于，所述計算待分離的多聲源信號的短時傅里葉頻譜，基于預先建立的深度聚類網絡提取每個時頻點的聲源嵌入向量；

利用已經訓練好的深度聚類網絡，提取每一個時頻點f，t對應的聲源嵌入向量和相應的短時傅里葉頻譜1≤t＜T，1≤f＜F；其中聲源嵌入向量是大小為20維的實數向量，短時傅里葉頻譜是大小的M維的復數向量。

5.根據權利要求4所述的基于混合式概率模型的多通道聲源分離方法，其特征在于，混合概率模型包括馮米塞斯費舍爾混合模型和復數高斯混合模型，其中馮米塞斯費舍爾混合模型的表達式為：

為米塞斯費舍爾混合模型的輸出值，為修改后的貝塞爾函數，d為向量維度：d＝20；代表聚合度，代表聚類中心，C是混合模型的聚類數量，為聲源的個數，f代表頻率；

所述復數高斯混合模型的表達式為：

其中，為復數高斯混合模型的輸出值，為音頻信號的強度，為空間關聯矩陣，為復數高斯分布；

則混合式概率模型的表達式為：

其中，為混合式概率模型的輸出值，是先驗系數，v是插值系數，取值為0.2。