[發明專利]一種語音增強方法及裝置

在審

• 申請號: 202110984082.8
• 申請日: 2021-08-25
• 公開（公告）號: CN113782044A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 張句;王宇光;李志剛;關昊天
• 申請（專利權）人: 慧言科技（天津）有限公司
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L21/0216;G10L21/0232;G10L21/0264;G10L25/18;G10L25/30
• 代理公司: 北京棧橋知識產權代理事務所(普通合伙) 11670
• 代理人: 潘衛鋒

本申請提供一種語音增強方法及裝置，涉及音頻技術領域，能夠更大程度的降噪，得到質量較高的語音數據。該方法包括：基于語音增強模型，對待處理的語音數據進行處理，預測得到所述待處理語音數據中的純凈語音數據；所述待處理的語音數據為頻域語音數據；基于干擾信息提取模型，對所述待處理的語音數據進行處理，預測得到所述待處理語音數據中的純凈干擾數據；基于語音融合模型，對待處理的語音數據、所述待處理語音數據中的純凈語音數據以及所述待處理語音數據中的純凈干擾數據做融合處理，得到增強的語音數據。

技術領域

本申請涉及語音處理領域，尤其涉及一種語音增強方法及裝置。

背景技術

在語音通話或視頻通話等場景中，受通話環境的影響(復雜的噪聲、混響等)，通話過程中的語音質量較差，采用語音增強技術能顯著提升語音質量。

目前，一種語音增強方法是使用深度學習的方法建立一個語音增強模型(例如對抗網絡)，基于該語音增強模型能夠同步去除待處理語音數據中的噪聲和混響。

然而，上述語音增強方法的處理得到語音的音質較差，難以滿足用戶的聽覺體驗。

另外，上述用于同步去除噪聲和混響的語音增強模型的結構通常比較復雜，比如網絡層數過深，網絡的參數量較大，使用該語音增強模型進行語音增強處理的速度較慢，實時率差；并且該語音增強模型可能無法對所有的語音數據進行有效增強，其魯棒性有待提升。

發明內容

本申請實施例提供一種語音增強方法及裝置，能夠提升語音的音質。

為達到上述目的，本申請實施例采用如下技術方案：

第一方面，本申請提供一種語音增強方法，應用于電子設備，該方法包括：電子設備基于語音增強模型，對待處理的語音數據進行處理，預測得到該待處理語音數據中的純凈語音數據；該待處理的語音數據為頻域語音數據；并且基于干擾信息提取模型，對所述待處理的語音數據進行處理，預測得到所述待處理語音數據中的純凈干擾數據(包括噪聲和混響)；以及基于語音融合模型，對待處理的語音數據、所述待處理語音數據中的純凈語音數據以及所述待處理語音數據中的純凈干擾數據做融合處理，得到增強的語音數據。

本申請提供的語音增強方法，電子設備可以基于語音模型預測出純凈語音數據，基于噪音模型預測出需要排除的純凈干擾數據，并且基于語音融合模型，對待處理的語音數據、經語音模型處理得到的待處理語音數據中的純凈語音數據以及經干擾信息提取模型處理得到的待處理語音數據中的純凈干擾數據做融合處理，對這三種數據進行加權，得到更加純凈的語音數據(即增強的語音數據)，可知通過本申請實施例提供的方案，能夠更大程度的去除語音數據中的噪聲和/或混響，得到質量較高的語音數據。

進一步的，與現有的用于語音增強的模型相比，本申請中的語音增強模型、干擾信息提取模型以及語音融合模型的結構簡單，模型參數量較少，如此，語音增強處理過程的計算量較小，語音增強處理的速度較快，從而能夠提升語音增強的實時率。

進一步的，本申請實施例提供的語音增強方法是通過結合時頻分析以及基于多路信息融合模型(即語音融合模型)框架，能夠滿足流式音頻去噪的需要，能夠適應多種輸入維度的音頻。

進一步的，本申請實施例中的語音增強模型能夠顯著去除語音數據中的混響和平穩噪音，噪音模型能夠有效地去除語音數據中的非平穩噪音，可見，本申請實施例提供的語音增強方法能夠對不同類型的噪音進行有效去除，可適用于對含有不同噪聲的語音數據進行增強處理，其魯棒性好。

在第一方面的一種實現方式中，上述語音增強模型包括依次連接的域自適應映射層、編碼器層、第一自注意力層以及第一掩碼生成層；其中，該域自適應映射層由兩個全連接層組成，該編碼器層由一個卷積層、兩個因果卷積層、以及一個卷積層組成，該第一自注意力層由長短期記憶層和兩個全連接層組成，該第一掩碼生成層由兩個長短期記憶層組成。