[發(fā)明專利]一種聲源分離的方法及聲源分離裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210567042.8
• 申請(qǐng)日: 2022-05-23
• 公開（公告）號(hào): CN115116465A
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 馬潤(rùn)澤;徐樹公
• 申請(qǐng)（專利權(quán)）人: 佛山智優(yōu)人科技有限公司;上海大學(xué)
• 主分類號(hào): G10L21/0272
• 分類號(hào): G10L21/0272;G10L21/0216;G10L21/028
• 代理公司: 廣東廣盈專利商標(biāo)事務(wù)所(普通合伙) 44339
• 代理人: 李俊

1.一種聲源分離的方法，其特征在于，所述方法包括：

基于麥克風(fēng)陣列采集空間聲場(chǎng)中的聲音，將空氣中聲波在麥克風(fēng)陣列中不同麥克風(fēng)位置產(chǎn)生的機(jī)械能轉(zhuǎn)化為對(duì)應(yīng)多通道電信號(hào)進(jìn)行輸出；

對(duì)多通道電信號(hào)進(jìn)行聲源分離處理，得到分離后的各聲源信號(hào)；

基于揚(yáng)聲器陣列對(duì)分離后的各聲源信號(hào)進(jìn)行回放。

2.如權(quán)利要求1所述的聲源分離的方法，其特征在于，所述對(duì)多通道電信號(hào)進(jìn)行聲源分離處理之前還包括：

對(duì)多通道電信號(hào)進(jìn)行放大處理，并進(jìn)行數(shù)字量化處理。

3.如權(quán)利要求2所述的聲源分離的方法，其特征在于，所述對(duì)多通道電信號(hào)進(jìn)行聲源分離處理，得到分離后的各聲源信號(hào)包括：

通過短時(shí)傅里葉計(jì)算麥克風(fēng)陣列中每個(gè)通道信號(hào)的功率譜作為各個(gè)通道時(shí)頻特征；

對(duì)各個(gè)通道時(shí)頻特征來(lái)推理對(duì)應(yīng)各聲源對(duì)于麥克風(fēng)陣列的空間協(xié)方差矩陣，應(yīng)用深度神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)各個(gè)通道時(shí)頻特征進(jìn)行推理，并將時(shí)域卷積網(wǎng)絡(luò)輸出映射為空間協(xié)方差矩陣作為輸出；

以麥克風(fēng)陣列多通道時(shí)頻特征和空間協(xié)方差矩陣作為輸入，通過空間聲場(chǎng)獨(dú)立性假設(shè)來(lái)計(jì)算非負(fù)矩陣分解中相關(guān)矩陣的參數(shù)，得到聲源功率譜密度的估計(jì)矩陣；

將各通道的時(shí)頻特征、空間協(xié)方差矩陣和聲源功率譜密度進(jìn)行數(shù)據(jù)處理，得到每個(gè)聲源對(duì)于麥克風(fēng)陣列當(dāng)中每個(gè)麥克風(fēng)的短時(shí)傅里葉變換譜；

對(duì)各聲源短時(shí)傅立葉變換譜進(jìn)行逆短時(shí)傅里葉變換，得到每個(gè)聲源對(duì)于麥克風(fēng)陣列當(dāng)中每個(gè)麥克風(fēng)的音頻波形。

4.如權(quán)利要求3所述的聲源分離的方法，其特征在于，所述通過短時(shí)傅里葉計(jì)算麥克風(fēng)陣列中每個(gè)通道信號(hào)的功率譜作為各個(gè)通道時(shí)頻特征包括：

對(duì)每個(gè)通道信號(hào)進(jìn)行加窗切分成連續(xù)的幀；

對(duì)每個(gè)幀進(jìn)行離散傅里葉變換。

5.如權(quán)利要求4所述的聲源分離的方法，其特征在于，所述對(duì)各個(gè)通道時(shí)頻特征來(lái)推理對(duì)應(yīng)各聲源對(duì)于麥克風(fēng)陣列的空間協(xié)方差矩陣，應(yīng)用深度神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)各個(gè)通道時(shí)頻特征進(jìn)行推理，并將時(shí)域卷積網(wǎng)絡(luò)輸出映射為空間協(xié)方差矩陣作為輸出包括：

在仿真環(huán)境當(dāng)中模擬多通道麥克風(fēng)陣列信號(hào)，運(yùn)算得到分離結(jié)果之后將分離結(jié)果與原始聲源信號(hào)進(jìn)行損失函數(shù)的計(jì)算；

通過所述損失函數(shù)的輸出來(lái)對(duì)深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行優(yōu)化；

基于訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型將結(jié)果輸入多通道信號(hào)的空間協(xié)方差矩陣進(jìn)行處理。

6.如權(quán)利要求5所述的聲源分離的方法，其特征在于，所述以麥克風(fēng)陣列多通道時(shí)頻特征和空間協(xié)方差矩陣作為輸入，通過空間聲場(chǎng)獨(dú)立性假設(shè)來(lái)計(jì)算非負(fù)矩陣分解中相關(guān)矩陣的參數(shù)，得到聲源功率譜密度的估計(jì)矩陣：

通過對(duì)數(shù)似然函數(shù)來(lái)進(jìn)行計(jì)算空間聲場(chǎng)獨(dú)立性假設(shè)；

基于空間聲場(chǎng)獨(dú)立性假設(shè)得到空間協(xié)方差矩陣，并計(jì)算得到多通道麥克風(fēng)陣列信號(hào)。

7.如權(quán)利要求6所述的聲源分離的方法，其特征在于，所述將各通道的時(shí)頻特征、空間協(xié)方差矩陣和聲源功率譜密度進(jìn)行數(shù)據(jù)處理，得到每個(gè)聲源對(duì)于麥克風(fēng)陣列當(dāng)中每個(gè)麥克風(fēng)的短時(shí)傅里葉變換譜包括：

通過空間協(xié)方差矩陣和各聲源的功率譜密度計(jì)算多通道維納濾波的濾波器系數(shù)，對(duì)各通道的時(shí)頻特征進(jìn)行多通道維納濾波。

8.一種聲源分離裝置，其特征在于，所述聲源分離裝置包括：

麥克風(fēng)陣列模塊，用于基于麥克風(fēng)陣列采集空間聲場(chǎng)中的聲音，將空氣中聲波在麥克風(fēng)陣列中不同麥克風(fēng)位置產(chǎn)生的機(jī)械能轉(zhuǎn)化為對(duì)應(yīng)多通道電信號(hào)進(jìn)行輸出；

聲源處理模塊，用于對(duì)多通道電信號(hào)進(jìn)行聲源分離處理，得到分離后的各聲源信號(hào)；

聲音回放模塊，用于基于揚(yáng)聲器陣列對(duì)分離后的各聲源信號(hào)進(jìn)行回放。

9.如權(quán)利要求8所述的聲源分離裝置，其特征在于，所述聲源分離裝置還包括：

信號(hào)記錄模塊，用于對(duì)多通道電信號(hào)進(jìn)行放大處理，并進(jìn)行數(shù)字量化處理。

10.如權(quán)利要求8或者9所述的聲源分離裝置，其特征在于，所述聲源處理模塊包括：

特征提取單元，用于通過短時(shí)傅里葉計(jì)算麥克風(fēng)陣列中每個(gè)通道信號(hào)的功率譜作為各個(gè)通道時(shí)頻特征；

空間聲場(chǎng)推理單元，用于對(duì)各個(gè)通道時(shí)頻特征來(lái)推理對(duì)應(yīng)各聲源對(duì)于麥克風(fēng)陣列的空間協(xié)方差矩陣，應(yīng)用深度神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)各個(gè)通道時(shí)頻特征進(jìn)行推理，并將時(shí)域卷積網(wǎng)絡(luò)輸出映射為空間協(xié)方差矩陣作為輸出；

聲源功率譜密度估計(jì)單元，用于以麥克風(fēng)陣列多通道時(shí)頻特征和空間協(xié)方差矩陣作為輸入，通過空間聲場(chǎng)獨(dú)立性假設(shè)來(lái)計(jì)算非負(fù)矩陣分解中相關(guān)矩陣的參數(shù)，得到聲源功率譜密度的估計(jì)矩陣；

分離濾波器單元，用于將各通道的時(shí)頻特征、空間協(xié)方差矩陣和聲源功率譜密度進(jìn)行數(shù)據(jù)處理，得到每個(gè)聲源對(duì)于麥克風(fēng)陣列當(dāng)中每個(gè)麥克風(fēng)的短時(shí)傅里葉變換譜；

信號(hào)重建單元，用于對(duì)各聲源短時(shí)傅立葉變換譜進(jìn)行逆短時(shí)傅里葉變換，得到每個(gè)聲源對(duì)于麥克風(fēng)陣列當(dāng)中每個(gè)麥克風(fēng)的音頻波形。