[發(fā)明專利]一種語(yǔ)音數(shù)據(jù)的處理方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911302603.6
• 申請(qǐng)日: 2019-12-17
• 公開(kāi)（公告）號(hào): CN113077807B
• 公開(kāi)（公告）日: 2023-02-28
• 發(fā)明（設(shè)計(jì)）人: 文仕學(xué);郝翔;潘逸倩
• 申請(qǐng)（專利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類號(hào): G10L21/0216
• 分類號(hào): G10L21/0216;G10L21/02
• 代理公司: 北京華沛德權(quán)律師事務(wù)所 11302
• 代理人: 馬苗苗

1.一種語(yǔ)音數(shù)據(jù)的處理方法，其特征在于，包括：

對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行噪音檢測(cè)并將檢測(cè)出的目標(biāo)時(shí)頻單元置零，獲得目標(biāo)語(yǔ)音數(shù)據(jù)，所述目標(biāo)時(shí)頻單元上噪聲能量大于原始語(yǔ)音能量；

根據(jù)所述目標(biāo)時(shí)頻單元的語(yǔ)音上下文，對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音補(bǔ)全和語(yǔ)音增強(qiáng)，獲得所述語(yǔ)音數(shù)據(jù)中的原始語(yǔ)音，包括：

基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)譜生成模型捕捉所述語(yǔ)音上下文，并根據(jù)所述語(yǔ)音上下文對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)頻域上的所述目標(biāo)時(shí)頻單元進(jìn)行語(yǔ)音補(bǔ)全；

對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)中包含弱平穩(wěn)噪聲的時(shí)頻單元進(jìn)行語(yǔ)音增強(qiáng)，獲取所述語(yǔ)音補(bǔ)全和所述語(yǔ)音增強(qiáng)后的數(shù)據(jù)作為所述原始語(yǔ)音，其中，所述弱平穩(wěn)噪聲為能量小于原始語(yǔ)音能量的噪聲。

2.如權(quán)利要求1所述的方法，其特征在于，對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行噪音檢測(cè)并將檢測(cè)出的目標(biāo)時(shí)頻單元置零，包括：

通過(guò)預(yù)先訓(xùn)練好的理想二值掩蔽網(wǎng)絡(luò)對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行噪音檢測(cè)并將所述目標(biāo)時(shí)頻單元置零，獲得所述目標(biāo)語(yǔ)音數(shù)據(jù)。

3.如權(quán)利要求2所述的方法，其特征在于，在獲得所述目標(biāo)語(yǔ)音數(shù)據(jù)之后，所述方法還包括：

判斷所述目標(biāo)語(yǔ)音數(shù)據(jù)中連續(xù)為零的時(shí)頻單元與所述語(yǔ)音數(shù)據(jù)中總的時(shí)頻單元之間的比值是否小于設(shè)定閾值；

若所述連續(xù)為零的時(shí)頻單元與所述總的時(shí)頻單元之間的比值小于設(shè)定閾值，執(zhí)行所述對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音補(bǔ)全和語(yǔ)音增強(qiáng)的操作，以獲得所述原始語(yǔ)音。

4.一種語(yǔ)音數(shù)據(jù)的處理裝置，其特征在于，包括：

檢測(cè)單元，用于對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行噪音檢測(cè)并將檢測(cè)出的目標(biāo)時(shí)頻單元置零，獲得目標(biāo)語(yǔ)音數(shù)據(jù)，所述目標(biāo)時(shí)頻單元上噪聲能量大于原始語(yǔ)音能量；

恢復(fù)單元，用于根據(jù)所述目標(biāo)時(shí)頻單元的語(yǔ)音上下文，對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音補(bǔ)全和語(yǔ)音增強(qiáng)，獲得所述語(yǔ)音數(shù)據(jù)中的原始語(yǔ)音；

所述恢復(fù)單元用于：

基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)譜生成模型捕捉所述語(yǔ)音上下文，并根據(jù)所述語(yǔ)音上下文對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)頻域上的所述目標(biāo)時(shí)頻單元進(jìn)行語(yǔ)音補(bǔ)全；

對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)中包含弱平穩(wěn)噪聲的時(shí)頻單元進(jìn)行語(yǔ)音增強(qiáng)，獲取所述語(yǔ)音補(bǔ)全和所述語(yǔ)音增強(qiáng)后的數(shù)據(jù)作為所述原始語(yǔ)音，其中，所述弱平穩(wěn)噪聲為能量小于原始語(yǔ)音能量的噪聲。

5.如權(quán)利要求4所述的裝置，其特征在于，所述檢測(cè)單元用于：

通過(guò)預(yù)先訓(xùn)練好的理想二值掩蔽網(wǎng)絡(luò)對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行噪音檢測(cè)并將所述目標(biāo)時(shí)頻單元置零，獲得所述目標(biāo)語(yǔ)音數(shù)據(jù)。

6.如權(quán)利要求5所述的裝置，其特征在于，所述裝置還包括：

判斷單元，用于在獲得所述目標(biāo)語(yǔ)音數(shù)據(jù)之后，判斷所述目標(biāo)語(yǔ)音數(shù)據(jù)中連續(xù)為零的時(shí)頻單元與所述語(yǔ)音數(shù)據(jù)中總的時(shí)頻單元之間的比值是否小于設(shè)定閾值；

若所述連續(xù)為零的時(shí)頻單元與所述總的時(shí)頻單元之間的比值小于設(shè)定閾值，執(zhí)行所述對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音補(bǔ)全和語(yǔ)音增強(qiáng)的操作，以獲得所述原始語(yǔ)音。

7.一種電子設(shè)備，其特征在于，包括有存儲(chǔ)器，以及一個(gè)或者一個(gè)以上的程序，其中一個(gè)或者一個(gè)以上的程序存儲(chǔ)于存儲(chǔ)器中，且經(jīng)配置以由一個(gè)或者一個(gè)以上的處理器執(zhí)行所述一個(gè)或者一個(gè)以上的程序所包含的用于進(jìn)行如權(quán)利要求1～3任一所述方法對(duì)應(yīng)的操作指令。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～3任一所述方法對(duì)應(yīng)的步驟。