[發(fā)明專(zhuān)利]一種語(yǔ)音數(shù)據(jù)的處理方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911302603.6
• 申請(qǐng)日: 2019-12-17
• 公開(kāi)（公告）號(hào): CN113077807B
• 公開(kāi)（公告）日: 2023-02-28
• 發(fā)明（設(shè)計(jì)）人: 文仕學(xué);郝翔;潘逸倩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類(lèi)號(hào): G10L21/0216
• 分類(lèi)號(hào): G10L21/0216;G10L21/02
• 代理公司: 北京華沛德權(quán)律師事務(wù)所 11302
• 代理人: 馬苗苗

本發(fā)明公開(kāi)了一種語(yǔ)音數(shù)據(jù)的處理方法、裝置及電子設(shè)備，該方法包括：對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行噪音檢測(cè)并將檢測(cè)出的目標(biāo)時(shí)頻單元置零，獲得目標(biāo)語(yǔ)音數(shù)據(jù)，所述目標(biāo)時(shí)頻單元上噪聲能量大于原始語(yǔ)音能量；根據(jù)所述目標(biāo)時(shí)頻單元的語(yǔ)音上下文，對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音補(bǔ)全和語(yǔ)音增強(qiáng)，獲得所述語(yǔ)音數(shù)據(jù)中的原始語(yǔ)音。通過(guò)去除噪聲主導(dǎo)的目標(biāo)時(shí)頻單元之后不僅降低了語(yǔ)音增強(qiáng)的難度，還避免了這部分時(shí)頻單元對(duì)語(yǔ)音增強(qiáng)的副作用，使整個(gè)語(yǔ)譜上原始語(yǔ)音占據(jù)主導(dǎo)，數(shù)據(jù)的分布趨于穩(wěn)定一致，由此進(jìn)行語(yǔ)音補(bǔ)全和語(yǔ)音增強(qiáng)，大大提高了語(yǔ)音增強(qiáng)的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及軟件技術(shù)領(lǐng)域，特別涉及一種語(yǔ)音數(shù)據(jù)的處理方法、裝置及電子設(shè)備。

背景技術(shù)

語(yǔ)音增強(qiáng)speech enhancement是指當(dāng)語(yǔ)音信號(hào)被各種各樣的噪聲干擾、甚至淹沒(méi)后，從噪聲背景中提取有用的語(yǔ)音信號(hào)，抑制、降低噪聲干擾的技術(shù)。在語(yǔ)音通信中應(yīng)用特別廣泛，例如在汽車(chē)、火車(chē)上打電話(huà)時(shí)，由于環(huán)境噪聲較多為了提高通話(huà)質(zhì)量通常需要對(duì)通話(huà)進(jìn)行語(yǔ)音增強(qiáng)。

現(xiàn)有的語(yǔ)音增強(qiáng)對(duì)于低信噪比場(chǎng)景下的純凈原始語(yǔ)音提取非常困難。低信噪比意味著有效語(yǔ)音在帶噪聲的語(yǔ)音中占比較小，甚至語(yǔ)音已經(jīng)被噪聲完全覆蓋，想要從中提取純凈原始語(yǔ)音一般的濾波器無(wú)法實(shí)現(xiàn)，基于深度學(xué)習(xí)的模型理論上可以實(shí)現(xiàn)，但難度非常大。低信噪比的語(yǔ)音增強(qiáng)難度主要體現(xiàn)在數(shù)據(jù)分布、數(shù)據(jù)映射空間的改變，這使得神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)難度加大，所需的網(wǎng)絡(luò)容量也加大，網(wǎng)絡(luò)也不易收斂，所以亟需一種新的方法來(lái)進(jìn)行原始語(yǔ)音提取，降低語(yǔ)音增強(qiáng)的難度。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種語(yǔ)音數(shù)據(jù)的處理方法、裝置及電子設(shè)備，用于降低語(yǔ)音增強(qiáng)的難度，提高語(yǔ)音增強(qiáng)的質(zhì)量。

第一方面，本發(fā)明實(shí)施例提供一種語(yǔ)音數(shù)據(jù)的處理方法，包括：

對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行噪音檢測(cè)并將檢測(cè)出的目標(biāo)時(shí)頻單元置零，獲得目標(biāo)語(yǔ)音數(shù)據(jù)，所述目標(biāo)時(shí)頻單元上噪聲能量大于原始語(yǔ)音能量；

根據(jù)所述目標(biāo)時(shí)頻單元的語(yǔ)音上下文，對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音補(bǔ)全和語(yǔ)音增強(qiáng)，獲得所述語(yǔ)音數(shù)據(jù)中的原始語(yǔ)音。

可選的，對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行噪音檢測(cè)并將檢測(cè)出的目標(biāo)時(shí)頻單元置零，包括：

通過(guò)預(yù)先訓(xùn)練好的理想二值掩蔽網(wǎng)絡(luò)對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行噪音檢測(cè)并將所述目標(biāo)時(shí)頻單元置零，獲得所述目標(biāo)語(yǔ)音數(shù)據(jù)。

可選的，在獲得所述目標(biāo)語(yǔ)音數(shù)據(jù)之后，所述方法還包括：

判斷所述目標(biāo)語(yǔ)音數(shù)據(jù)中連續(xù)為零的時(shí)頻單元與所述語(yǔ)音數(shù)據(jù)中總的時(shí)頻單元之間的比值是否小于設(shè)定閾值；

若所述連續(xù)為零的時(shí)頻單元與所述總的時(shí)頻單元之間的比值小于設(shè)定閾值，執(zhí)行所述對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音補(bǔ)全和語(yǔ)音增強(qiáng)的操作，以獲得所述原始語(yǔ)音。

可選的，根據(jù)所述目標(biāo)時(shí)頻單元的語(yǔ)音上下文，對(duì)所述目標(biāo)語(yǔ)音進(jìn)行語(yǔ)音補(bǔ)全和語(yǔ)音增強(qiáng)，獲得所述語(yǔ)音數(shù)據(jù)中的原始語(yǔ)音，包括：

基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)譜生成模型捕捉所述語(yǔ)音上下文，并根據(jù)所述語(yǔ)音上下文對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)頻域上的所述目標(biāo)時(shí)頻單元進(jìn)行語(yǔ)音補(bǔ)全；

對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)中包含弱平穩(wěn)噪聲的時(shí)頻單元進(jìn)行語(yǔ)音增強(qiáng)，獲取所述語(yǔ)音補(bǔ)全和所述語(yǔ)音增強(qiáng)后的數(shù)據(jù)作為所述原始語(yǔ)音，其中，所述弱平穩(wěn)噪聲為能量小于原始語(yǔ)音能量的噪聲。

第二方面，本發(fā)明實(shí)施例提供一種語(yǔ)音數(shù)據(jù)的處理裝置，包括：

檢測(cè)單元，用于對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行噪音檢測(cè)并將檢測(cè)出的目標(biāo)時(shí)頻單元置零，獲得目標(biāo)語(yǔ)音數(shù)據(jù)，所述目標(biāo)時(shí)頻單元上噪聲能量大于原始語(yǔ)音能量；

恢復(fù)單元，用于根據(jù)所述目標(biāo)時(shí)頻單元的語(yǔ)音上下文，對(duì)所述目標(biāo)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音補(bǔ)全和語(yǔ)音增強(qiáng)，獲得所述語(yǔ)音數(shù)據(jù)中的原始語(yǔ)音。

可選的，所述檢測(cè)單元用于：