[發(fā)明專(zhuān)利]單聲道人聲與背景音樂(lè)分離方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011118459.3
• 申請(qǐng)日: 2020-10-19
• 公開(kāi)（公告）號(hào): CN112259118A
• 公開(kāi)（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 曠昊恒
• 申請(qǐng)（專(zhuān)利權(quán)）人: 成都明杰科技有限公司
• 主分類(lèi)號(hào): G10L21/0272
• 分類(lèi)號(hào): G10L21/0272;G10L21/0308;G10L25/18;G10L25/30
• 代理公司: 成都四合天行知識(shí)產(chǎn)權(quán)代理有限公司 51274
• 代理人: 郭受剛;王記明

1.單聲道人聲與背景音樂(lè)分離方法，其特征在于，包括以下步驟：

步驟一、將待分離的時(shí)域模擬語(yǔ)音信號(hào)轉(zhuǎn)化為時(shí)域數(shù)字語(yǔ)音信號(hào)；

步驟二、對(duì)步驟一中的時(shí)域數(shù)字語(yǔ)音信號(hào)進(jìn)行短時(shí)傅里葉變換，取其幅值信息得到語(yǔ)譜圖；

步驟三、建立循環(huán)神經(jīng)網(wǎng)絡(luò)框架；

步驟四、將步驟二得到的語(yǔ)譜圖輸入步驟三中的循環(huán)神經(jīng)網(wǎng)絡(luò)框架，得到與語(yǔ)譜圖尺寸相同人聲時(shí)頻掩模M_vocal；

步驟五、根據(jù)步驟四得到的人聲時(shí)頻掩模M_vocal通過(guò)差分的方法計(jì)算得到背景音樂(lè)的時(shí)頻掩模；

步驟六、將步驟五中得到的兩個(gè)時(shí)頻掩模與步驟二得到的語(yǔ)譜圖進(jìn)行點(diǎn)乘，得到分離出的人聲語(yǔ)譜圖和背景音樂(lè)語(yǔ)譜圖；

步驟七、對(duì)人聲語(yǔ)譜圖和背景音樂(lè)語(yǔ)譜圖進(jìn)行短時(shí)傅里葉逆變換，分別得到人聲的時(shí)域數(shù)字語(yǔ)音信號(hào)和背景音樂(lè)的時(shí)域數(shù)字語(yǔ)音信號(hào)。

2.根據(jù)權(quán)利要求1所述的單聲道人聲與背景音樂(lè)分離方法，其特征在于，步驟一中將時(shí)域模擬語(yǔ)音信號(hào)轉(zhuǎn)化為時(shí)域數(shù)字語(yǔ)音信號(hào)的過(guò)程中，其采樣頻率滿足香農(nóng)采樣定律；f_s2f_max，f_s表示采樣頻率，f_max表示時(shí)域模擬語(yǔ)音信號(hào)的最高頻率。

3.根據(jù)權(quán)利要求1所述的單聲道人聲與背景音樂(lè)分離方法，其特征在于，所述步驟二的具體步驟如下：

步驟2.1、將步驟一得到的時(shí)域數(shù)字語(yǔ)音信號(hào)切分成n個(gè)信號(hào)段，每個(gè)信號(hào)段的時(shí)間為20ms～40ms，且相鄰信號(hào)段之間的重疊率為α，45％α55％；

步驟2.2、對(duì)每一信號(hào)段加漢寧窗，窗函數(shù)的長(zhǎng)度與信號(hào)段長(zhǎng)度相等；

步驟2.3、對(duì)每一信號(hào)段進(jìn)行短時(shí)傅里葉變換，得到短時(shí)傅里葉變換后的結(jié)果：

其中：x(n)為信號(hào)段，w(n)為窗函數(shù)。

4.根據(jù)權(quán)利要求1所述的單聲道人聲與背景音樂(lè)分離方法，其特征在于，步驟五中計(jì)算背景音樂(lè)的時(shí)頻掩模的公式如下：M_background＝1-M_vocal。

5.根據(jù)權(quán)利要求1所述的單聲道人聲與背景音樂(lè)分離方法，其特征在于，還包括如下步驟：

步驟A、利用步驟四得到的人聲時(shí)頻掩模M_vocal，計(jì)算出該語(yǔ)音信號(hào)中的人聲分量語(yǔ)譜圖利用步驟五得到的背景音樂(lè)時(shí)頻掩模M_background計(jì)算出該語(yǔ)音信號(hào)中背景音樂(lè)分量語(yǔ)譜圖

步驟B、建立純凈人聲樣本并進(jìn)行短時(shí)傅里葉變換，得到純凈人聲語(yǔ)譜圖y_1t；

步驟C、建立純凈背景音樂(lè)樣本并進(jìn)行短時(shí)傅里葉變換，得到純凈背景音樂(lè)語(yǔ)譜圖y_2t；

步驟D、建立引入SIR正則化的均方根損失函數(shù)：

步驟E、通過(guò)損失函數(shù)對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行反向傳播，使逼近y_1t，逼近y_2t；

所述步驟A、B、C、D依次設(shè)置于步驟四和步驟五之間。