[發(fā)明專利]音頻處理方法及裝置、電子設(shè)備和存儲介質(zhì)有效
| 申請?zhí)枺?/td> | 201910086763.5 | 申請日： | 2019-01-29 |
| 公開（公告）號： | CN109887515B | 公開（公告）日： | 2021-07-09 |
| 發(fā)明（設(shè)計）人： | 周航;劉子緯;徐旭東;羅平;王曉剛 | 申請（專利權(quán)）人： | 北京市商湯科技開發(fā)有限公司 |
| 主分類號： | G10L19/00 | 分類號： | G10L19/00;G10L19/02;G10L25/18;G10L25/24;G10L25/30 |
| 代理公司： | 北京林達劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277 | 代理人： | 劉新宇 |
| 地址： | 100084 北京市海淀區(qū)中*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 音頻 處理 方法 裝置 電子設(shè)備 存儲 介質(zhì) | ||
1.一種音頻處理方法，其特征在于，包括：
對待處理的受損音頻進行頻譜轉(zhuǎn)換，得到所述受損音頻的第一頻譜圖像；
對所述第一頻譜圖像進行頻譜補全，得到補全的第二頻譜圖像；
根據(jù)所述第二頻譜圖像對所述受損音頻進行補全，得到補全后的第一音頻；
對所述第一頻譜圖像進行頻譜補全，得到補全的第二頻譜圖像，包括：
對所述第一頻譜圖像進行特征提取，得到第一頻譜特征；
對所述第一頻譜特征進行頻譜重構(gòu)，得到所述第二頻譜圖像；
其中，所述頻譜重構(gòu)包括：利用與受損音頻天然對齊的受損音頻的相關(guān)信息作為監(jiān)督信息，根據(jù)第一頻譜圖像中除缺失區(qū)域之外的其他區(qū)域的像素點預(yù)測缺失區(qū)域中的各個像素點，所述相關(guān)信息包括與所述受損音頻對應(yīng)的視頻信息和光流信息中的至少一種。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述第一頻譜圖像進行頻譜補全，得到補全的第二頻譜圖像，包括：
對所述第一頻譜圖像進行特征提取，得到第二頻譜特征；
對所述受損音頻的相關(guān)信息進行特征提取，得到監(jiān)督特征；
對齊所述第二頻譜特征和所述監(jiān)督特征；
根據(jù)對齊后的監(jiān)督特征對所述第一頻譜特征進行頻譜重構(gòu)，得到所述第二頻譜圖像。
3.根據(jù)權(quán)利要求1-2中任意一項所述的方法，其特征在于，所述受損音頻包括受損音頻片段；
所述根據(jù)所述第二頻譜圖像對所述受損音頻進行補全，得到補全后的第一音頻，包括：
對第二頻譜圖像中與受損音頻片段對應(yīng)的頻譜圖像進行譜頻轉(zhuǎn)換，得到補全音頻片段；
利用補全音頻片段對受損音頻進行補全，得到補全后的第一音頻。
4.根據(jù)權(quán)利要求1-2中任意一項所述的方法，其特征在于，所述受損音頻包括受損音頻片段和未受損音頻片段；
所述根據(jù)所述第二頻譜圖像對所述受損音頻進行補全，得到補全后的第一音頻，包括：
根據(jù)第二頻譜圖像中與受損音頻片段對應(yīng)的頻譜圖像和未受損音頻片段，預(yù)測補全音頻片段；
利用補全音頻片段對受損音頻進行補全，得到補全后的第一音頻。
5.根據(jù)權(quán)利要求1-2中任意一項所述的方法，其特征在于：
所述根據(jù)所述第二頻譜圖像對所述受損音頻進行補全，得到補全后的第一音頻的操作，通過WaveNet解碼網(wǎng)絡(luò)實現(xiàn)。
6.根據(jù)權(quán)利要求1-2中任意一項所述的方法，其特征在于：
所述第一頻譜圖像和第二頻譜圖像包括梅爾頻譜圖像或梅爾倒譜圖像。
7.一種音頻處理裝置，其特征在于，包括：
頻譜轉(zhuǎn)換模塊，用于對待處理的受損音頻進行頻譜轉(zhuǎn)換，得到所述受損音頻的第一頻譜圖像；
頻譜補全模塊，用于對所述第一頻譜圖像進行頻譜補全，得到補全的第二頻譜圖像；
音頻補全模塊，用于根據(jù)所述第二頻譜圖像對所述受損音頻進行補全，得到補全后的第一音頻；
所述頻譜補全模塊包括：
第一特征提取子模塊，用于對所述第一頻譜圖像進行特征提取，得到第一頻譜特征；
第一頻譜重構(gòu)子模塊，用于對所述第一頻譜特征進行頻譜重構(gòu)，得到所述第二頻譜圖像；
其中，所述第一頻譜重構(gòu)子模塊，具體用于利用與受損音頻天然對齊的受損音頻的相關(guān)信息作為監(jiān)督信息，根據(jù)第一頻譜圖像中除缺失區(qū)域之外的其他區(qū)域的像素點預(yù)測缺失區(qū)域中的各個像素點，所述相關(guān)信息包括與所述受損音頻對應(yīng)的視頻信息和光流信息中的至少一種。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述頻譜補全模塊包括：
第二特征提取子模塊，用于對所述第一頻譜圖像進行特征提取，得到第二頻譜特征；
第三特征提取子模塊，用于對所述受損音頻的相關(guān)信息進行特征提取，得到監(jiān)督特征；
對齊子模塊，用于對齊所述第二頻譜特征和所述監(jiān)督特征；
第二頻譜重構(gòu)子模塊，用于根據(jù)對齊后的監(jiān)督特征對所述第一頻譜特征進行頻譜重構(gòu)，得到所述第二頻譜圖像。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京市商湯科技開發(fā)有限公司，未經(jīng)北京市商湯科技開發(fā)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910086763.5/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
