[發(fā)明專利]人聲分離提取方法方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010792766.3
• 申請(qǐng)日: 2020-08-10
• 公開（公告）號(hào): CN111933172A
• 公開（公告）日: 2020-11-13
• 發(fā)明（設(shè)計(jì)）人: 劉嗣平;柯登峰;張思萱
• 申請(qǐng)（專利權(quán)）人: 廣州九四智能科技有限公司
• 主分類號(hào): G10L21/0272
• 分類號(hào): G10L21/0272;G10L21/0308;G10L25/30;G10L21/0208
• 代理公司: 深圳科灣知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44585
• 代理人: 鐘斌

1.一種人聲分離提取方法，其特征在于，包括下述步驟：

將帶有環(huán)境噪聲的錄音轉(zhuǎn)化為原始幅度譜；

將所述原始幅度譜輸入到預(yù)先訓(xùn)練的抗噪神經(jīng)網(wǎng)絡(luò)，以確定與所述原始幅度譜相應(yīng)的p-PSM值，所述p-PSM值大于等于0；

將所述原始幅度頻譜與對(duì)應(yīng)的p-PSM點(diǎn)乘，以獲取去噪幅度譜；

將所述去噪幅度譜輸入到預(yù)先訓(xùn)練的諧波恢復(fù)神經(jīng)網(wǎng)絡(luò)，以恢復(fù)所述去噪幅度頻譜，并獲取所述去噪幅度頻譜對(duì)應(yīng)的純凈幅度頻譜；

將所述純凈幅度頻譜轉(zhuǎn)換為語音。

2.根據(jù)權(quán)利要求1所述的一種人聲分離提取方法，其特征在于，所述步驟將所述原始幅度譜輸入到預(yù)先訓(xùn)練的抗噪神經(jīng)網(wǎng)絡(luò)，以確定與所述原始幅度譜相應(yīng)的p-PSM值，所述p-PSM值大于等于0，具體包括：

將原始幅度頻譜輸入到連續(xù)的至少兩層BLSTM模型當(dāng)中，并且通過BLSTM模型，輸出第一相關(guān)值；

將所述第一相關(guān)值通過連接層連接，以獲取與預(yù)處理幅度頻譜對(duì)應(yīng)的p-PSM值。

3.根據(jù)權(quán)利要求1所述的一種人聲分離提取方法，其特征在于，所述將所述去噪幅度譜輸入到預(yù)先訓(xùn)練的諧波恢復(fù)神經(jīng)網(wǎng)絡(luò)，以恢復(fù)所述去噪幅度頻譜，并獲取所述去噪幅度頻譜對(duì)應(yīng)的純凈幅度頻譜，具體包括：

將所述去噪幅度頻譜輸入到連續(xù)的至少兩層的BLSTM模型當(dāng)中，并且通過BLSTM模型，輸出根據(jù)時(shí)域與所述去噪幅度頻譜對(duì)應(yīng)的隱層輸出；

通過全連接層連接所述隱層輸出，以獲取所述去噪幅度頻譜對(duì)應(yīng)的純凈幅度頻譜。

4.一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，用于權(quán)利要求1至3任意一項(xiàng)所述的抗噪神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，其特征在于，包括：

通過短時(shí)傅里葉變換，將帶有環(huán)境音的語音轉(zhuǎn)換為降噪訓(xùn)練幅度譜，并且通過短時(shí)傅里葉變換，將對(duì)應(yīng)的純凈語音轉(zhuǎn)換為標(biāo)準(zhǔn)幅度譜；

將降噪訓(xùn)練幅度譜輸入到所述抗噪網(wǎng)絡(luò)，并且輸出對(duì)應(yīng)的p-PSM；

將所述降噪訓(xùn)練網(wǎng)絡(luò)與所述p-PSM點(diǎn)乘，以獲取降噪訓(xùn)練中間幅度譜；

根據(jù)降噪訓(xùn)練中間幅度譜和對(duì)應(yīng)的標(biāo)準(zhǔn)幅度譜，通過L1進(jìn)行訓(xùn)練，調(diào)整所述抗噪神經(jīng)網(wǎng)絡(luò)，使得所述抗噪神經(jīng)網(wǎng)絡(luò)收斂，所述L1具體包括：

L1＝log[HM(t,f)-S(t,f)]²

其中，HM(t,f)為所述降噪訓(xùn)練中間幅度譜，S(t,f)為所述降噪訓(xùn)練中間幅度對(duì)應(yīng)的標(biāo)準(zhǔn)幅度譜。

5.一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，用于權(quán)利要求1至3任意一項(xiàng)所述的諧波恢復(fù)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，其特征在于，包括：

將去噪幅度譜輸入到諧波恢復(fù)神經(jīng)網(wǎng)絡(luò)中，所述諧波恢復(fù)神經(jīng)網(wǎng)絡(luò)包括至少兩層BLSTM模型并且根據(jù)每層所述的隱層輸出，通過全連接層獲取與所述隱層輸出對(duì)應(yīng)的恢復(fù)訓(xùn)練中間幅度譜；

根據(jù)所述恢復(fù)訓(xùn)練中間幅度譜以及與所述去噪幅度譜相對(duì)應(yīng)的標(biāo)準(zhǔn)幅度譜通過損失函數(shù)計(jì)算損失，損失函數(shù)為：

loss＝log([H(t,f)-S(t,f)]²)

其中，H(t,f)為所述恢復(fù)訓(xùn)練中間幅度譜，S(t,f)為與所述去噪幅度譜相對(duì)應(yīng)的標(biāo)準(zhǔn)幅度譜；

對(duì)各層BLSTM模型對(duì)應(yīng)的損失加權(quán)以獲得總體損失，加權(quán)的公式為：

其中l(wèi)oss_i為第i層所述BLSTM模型對(duì)應(yīng)的損失函數(shù)的損失，a_i為與loss_i相對(duì)應(yīng)的調(diào)節(jié)參數(shù)；

最小化L2。

6.一種人聲分離提取裝置，其特征在于，包括：

幅度譜轉(zhuǎn)化模塊，用于將帶有環(huán)境噪聲的錄音轉(zhuǎn)化為原始幅度譜；

p-PSM計(jì)算模塊，用于將所述原始幅度譜輸入到預(yù)先訓(xùn)練的抗噪神經(jīng)網(wǎng)絡(luò)，以確定與所述原始幅度譜相應(yīng)的p-PSM值，所述p-PSM值大于等于0；

去噪模塊，用于將所述原始幅度頻譜與對(duì)應(yīng)的p-PSM點(diǎn)乘，以獲取去噪幅度譜；

恢復(fù)模塊，用于將所述去噪幅度譜輸入到預(yù)先訓(xùn)練的諧波恢復(fù)神經(jīng)網(wǎng)絡(luò)，以通過損失函數(shù)恢復(fù)所述去噪幅度頻譜，并獲取所述去噪幅度頻譜對(duì)應(yīng)的純凈幅度頻譜；

語音轉(zhuǎn)換模塊，用于將所述純凈幅度頻譜轉(zhuǎn)換為語音。