[發(fā)明專利]基于深度學(xué)習(xí)的語(yǔ)音分離方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910337555.8
• 申請(qǐng)日: 2019-04-25
• 公開(kāi)（公告）號(hào): CN110148419A
• 公開(kāi)（公告）日: 2019-08-20
• 發(fā)明（設(shè)計(jì)）人: 孫林慧;陶澤
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G10L21/0208
• 分類號(hào): G10L21/0208;G10L21/0264;G10L21/0308;G10L25/30
• 代理公司: 南京蘇科專利代理有限責(zé)任公司 32102
• 代理人: 姚姣陽(yáng)

本發(fā)明揭示了一種基于深度學(xué)習(xí)的語(yǔ)音分離方法，首先是將含有多個(gè)語(yǔ)音的信號(hào)劃分為訓(xùn)練集信號(hào)和測(cè)試集信號(hào)，并將訓(xùn)練集信號(hào)與測(cè)試集信號(hào)分別進(jìn)行預(yù)處理，之后進(jìn)行傅里葉變換，得到訓(xùn)練集信號(hào)的幅度和相位、及測(cè)試集信號(hào)的幅度和相位，然后再將訓(xùn)練集信號(hào)的幅度和相位、及測(cè)試集信號(hào)的幅度和相位均進(jìn)行歸一化處理；接著將歸一化處理后訓(xùn)練集信號(hào)的幅度和相位通過(guò)訓(xùn)練模型進(jìn)行訓(xùn)練，且訓(xùn)練模型的算法采用深度神經(jīng)網(wǎng)絡(luò)的adam算法；最后將歸一化處理后測(cè)試集信號(hào)通過(guò)訓(xùn)練模型預(yù)測(cè)，并完成語(yǔ)音分離；本發(fā)明將幅度與相位聯(lián)合訓(xùn)練，在真實(shí)環(huán)境下語(yǔ)音分離效果更佳；另外，本發(fā)明采用深度神經(jīng)網(wǎng)絡(luò)的adam算法，使信噪比與語(yǔ)音的可懂度得到大幅度提高。

技術(shù)領(lǐng)域

本發(fā)明涉及一種語(yǔ)音分離方法，尤其涉及一種基于深度學(xué)習(xí)的語(yǔ)音分離方法，屬于語(yǔ)音信號(hào)處理技術(shù)領(lǐng)域。

背景技術(shù)

現(xiàn)實(shí)生活中存在著各式各樣的噪音，人們感興趣的聲音往往都是純凈的聲音，然而現(xiàn)實(shí)中很難有完全純凈的聲音，人們感興趣的聲音中都或多或少地夾雜著噪音，這些噪音降低了語(yǔ)音可懂度和信噪比，然而怎樣進(jìn)行語(yǔ)音分離，從而提高可懂度并且降低信噪比，成為一個(gè)非常關(guān)鍵的問(wèn)題。語(yǔ)音分離問(wèn)題最早來(lái)源于Cherry在1953年提出的著名的雞尾酒會(huì)問(wèn)題，雞尾酒會(huì)問(wèn)題是一個(gè)在計(jì)算機(jī)和通信方面的語(yǔ)音識(shí)別和分離領(lǐng)域的交叉問(wèn)題。目前，語(yǔ)音識(shí)別技術(shù)對(duì)于降噪問(wèn)題已經(jīng)有了很大的進(jìn)展，能基本完全實(shí)現(xiàn)一個(gè)人的語(yǔ)音聲音降噪，然而，面對(duì)兩人或者多人同時(shí)講話的時(shí)候，如何將語(yǔ)音進(jìn)行分離，仍然是一個(gè)比較困難的問(wèn)題。

語(yǔ)音分離任務(wù)可根據(jù)干擾的不同分為三類：當(dāng)干擾部分是噪聲信號(hào)時(shí)，它可以被稱為“語(yǔ)音增強(qiáng)”；當(dāng)干擾部分是其他揚(yáng)聲器時(shí)，它可以被稱為“揚(yáng)聲器分離”；當(dāng)干擾部分是目標(biāo)說(shuō)話人自己的聲音的反射波時(shí)，它可以被稱為“去混響”。由于麥克風(fēng)收集的聲音可能包括噪聲，其他人的語(yǔ)音，混響等的聲音，如果語(yǔ)音未被分離和直接識(shí)別，則識(shí)別的準(zhǔn)確性可能受到影響。因此，將語(yǔ)音分離技術(shù)添加到語(yǔ)音識(shí)別的前端可以通過(guò)將目標(biāo)說(shuō)話者的語(yǔ)音與其他干擾分離來(lái)提高語(yǔ)音識(shí)別系統(tǒng)的魯棒性，這也是現(xiàn)代語(yǔ)音識(shí)別系統(tǒng)中不可或缺的部分。

目前解決語(yǔ)音分離問(wèn)題的方法分為兩類，即無(wú)監(jiān)督的語(yǔ)音分離和有監(jiān)督的語(yǔ)音分離。有監(jiān)督的語(yǔ)音分離又稱為基于深度學(xué)習(xí)的語(yǔ)音分離，由于近些年計(jì)算機(jī)CPU和GPU性能的提高和發(fā)展，有監(jiān)督的語(yǔ)音分離可以利用大數(shù)據(jù)量進(jìn)行訓(xùn)練，得到比無(wú)監(jiān)督的語(yǔ)音分離更好的效果；而且在前人研究中可以發(fā)現(xiàn)，大多數(shù)人實(shí)驗(yàn)過(guò)程中都是忽略相位的影響，大多默認(rèn)測(cè)試相位，只對(duì)幅值進(jìn)行訓(xùn)練，且分離效果并不好。

綜上所述，如何采用深度學(xué)習(xí)的語(yǔ)音分離方法且可提高語(yǔ)音分離效果，就成為本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)的上述缺陷，提出基于深度學(xué)習(xí)的相位與幅度聯(lián)合訓(xùn)練的語(yǔ)音分離方法，使得分離得到的語(yǔ)音信號(hào)性能較好。

本發(fā)明的技術(shù)解決方案是：

S1：將含有多個(gè)語(yǔ)音的信號(hào)劃分為訓(xùn)練集信號(hào)和測(cè)試集信號(hào)，并將訓(xùn)練集信號(hào)與測(cè)試集信號(hào)分別進(jìn)行預(yù)處理；然后將預(yù)處理后的訓(xùn)練集信號(hào)與預(yù)處理后的測(cè)試集信號(hào)分別進(jìn)行傅里葉變換，得到訓(xùn)練集信號(hào)的幅度和相位、及測(cè)試集信號(hào)的幅度和相位；之后，分別將訓(xùn)練集信號(hào)的幅度和相位、及測(cè)試集信號(hào)的幅度和相位均進(jìn)行歸一化處理；

S2：將步驟S1中歸一化處理后訓(xùn)練集信號(hào)的幅度和相位通過(guò)訓(xùn)練模型進(jìn)行訓(xùn)練，且訓(xùn)練模型的算法采用深度神經(jīng)網(wǎng)絡(luò)的adam算法；

S3：將所述步驟S1中測(cè)試集信號(hào)的幅度和相位通過(guò)所述訓(xùn)練模型分別得到預(yù)測(cè)幅度值和預(yù)測(cè)相位值；接著，將所述預(yù)測(cè)幅度值和預(yù)測(cè)相位值通過(guò)傅里葉反變換得到預(yù)測(cè)信號(hào)進(jìn)行輸出，完成語(yǔ)音分離。

優(yōu)選地，所述訓(xùn)練集信號(hào)包括混合訓(xùn)練集信號(hào)與純凈訓(xùn)練集信號(hào)，所述測(cè)試集信號(hào)包括混合測(cè)試集信號(hào)與純凈測(cè)試集信號(hào)。

優(yōu)選地，所述訓(xùn)練集信號(hào)與測(cè)試集信號(hào)的占比為97：3。