[發明專利]一種融合骨振動傳感器和雙麥克風信號的深度學習降噪方法及系統

有效

• 申請號: 202010782856.4
• 申請日: 2020-08-06
• 公開（公告）號: CN111916101B
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 閆永杰;張珍斌
• 申請（專利權）人: 大象聲科（深圳）科技有限公司
• 主分類號: G10L21/0216
• 分類號: G10L21/0216;G10L21/0208;G10L21/0264;G10L25/30;G10L25/03;G01H17/00
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 王永文

本發明涉及一種融合骨振動傳感器和雙麥克風信號的深度學習降噪方法及系統，包括基頻和聲紋特征提取模塊，空間方位特征提取模塊以及深度神經網絡的融合模塊，方法包括從骨振動傳感器信號中提取聲音基頻和聲紋特征；利用主、次麥克風信號提取出聲音源的空間方位特征；將這些特征融合送入深度神經網絡模塊；通過深度神經網絡模塊預測得到降噪語音。本發明利用骨振動傳感器信號不受氣導噪聲干擾的特性，將骨傳信號作為低頻輸入信號，與雙麥克信號一同送入深度神經網絡進行整體降噪、融合，同時提取信號空間方位特征，和從骨振動傳感器提取出的說話者的基頻，聲紋特征。從而得到優質的低頻信號，極大提高深度神經網絡預測的準確性，使得降噪效果更佳。

技術領域

本發明涉及深度學習、語音信號處理、語音降噪技術領域，更具體地說，涉及一種融合骨振動傳感器和雙麥克風信號的深度學習降噪方法。

背景技術

語音降噪技術是指從帶噪語音信號中分離出語音信號，該技術擁有廣泛的應用，通常有單麥克風降噪技術和多麥克風降噪技術，傳統的單雙麥降噪技術很難實現性能的突破，難以滿足人們在地鐵，馬路，機場，咖啡廳等日常超級嘈雜環境中清晰的通話要求。

傳統多麥克風降噪技術需要兩個及以上麥克風，利用波束形成技術的降噪方案。傳統多麥克風通話降噪技術存在以下缺陷：

1、傳統多麥對麥克風的一致性要求高，一定程度上會限制產線的良品率；

2、多麥克降噪技術依靠方向信息進行降噪，無法抑制來自于目標人聲方向的噪音。

本專利結合了骨振動傳感器及雙麥克風的信號，采用深度學習降噪技術，在各種噪聲環境下，實現提取目標人聲，降低干擾噪聲。該技術可應用于耳機、手機等貼合耳部的通話場景。

相比于僅采用一個或多個麥克風降噪的技術，結合骨振動傳感器可在信噪比極低的環境下，諸如：地鐵、風噪等場景，依然可以保持良好的通話體驗。

相比傳統單麥克風降噪技術，本技術不對噪聲做任何假設(傳統單麥風降噪技術預先假設噪聲為平穩噪聲)，利用深度神經網絡強大的建模能力，有很好的人聲還原度及極強的噪聲抑制能力，可以解決復雜噪聲場景下的人聲提取問題。

不同于其他結合骨震動傳感器及氣導麥克風降噪方式僅利用骨震動傳感器信號作為激活檢測的標志，本技術利用骨振動傳感器信號不受氣導噪聲干擾的特性，將骨傳信號作為輸入信號，與雙麥克風信號一同送入深度神經網絡進行整體降噪、融合。同時送入神經網絡的還有從主麥克風和次麥克風提取出來的信號空間方位特征，和從骨振動傳感器提取出來的說話者的基頻，聲紋特征。借助骨振動傳感器，我們能夠得到優質的低頻信號，并以此為基礎，極大地提高深度神經網絡預測的準確性，使得降噪效果更佳。

相對傳統單麥降噪技術，本專利采用雙麥克風作為輸入，極大提高了降噪的效果。因此具有魯棒性強、成本可控、對產品結構設計要求低等特點，第三部分背景技術已有詳細描述，在此不贅述；

相比本申請人之前提交的《一種融合骨振動傳感器和麥克風信號的深度學習語音提取和降噪方法》(申請號：201910953534.9)，本專利引入了主麥克風和次麥克風的雙麥風陣列，并且將基頻，聲紋特征，信號空間方位特征，主麥克風信號，次麥克風信號，骨振動傳感器信號同時融合到深度神經網絡，從而得到性能更優的降噪效果，滿足噪聲極度惡劣的應用場合。

相比本申請人之前提交的《近距離交談場景下雙麥克風移動電話的實時語音降噪方法》(申請號：201910945319.4)，本專利引入了骨振動傳感器作為補充，利用骨振動傳感器不受空氣噪音干擾的特性，并且可以提取出更高精度的聲音基頻和聲紋特征。將骨振動傳感器信號與氣導麥克風信號，聲音基頻，聲紋特征，信號空間方位特征使用深度神經網絡融合，達到了在極低信噪比下也能有理想的降噪效果。