[發(fā)明專(zhuān)利]一種多通道雙說(shuō)話(huà)人分離方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111134595.6
• 申請(qǐng)日: 2021-09-27
• 公開(kāi)（公告）號(hào): CN113870893A
• 公開(kāi)（公告）日: 2021-12-31
• 發(fā)明（設(shè)計(jì)）人: 張鵬遠(yuǎn);楊弋;陳航艇;顏永紅
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院聲學(xué)研究所
• 主分類(lèi)號(hào): G10L21/0272
• 分類(lèi)號(hào): G10L21/0272;G10L25/27
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽

1.一種多通道雙說(shuō)話(huà)人分離方法，其特征在于，所述方法包括：

對(duì)混合語(yǔ)音音頻進(jìn)行分幀、加窗和傅里葉變換處理，得到每幀音頻的頻譜；所述混合語(yǔ)音音頻包括不同說(shuō)話(huà)人重疊比例的混合語(yǔ)音音頻；

根據(jù)所述每幀音頻的頻譜和聲源位置估計(jì)網(wǎng)絡(luò)獲得估計(jì)的幀級(jí)別笛卡爾坐標(biāo)和對(duì)應(yīng)權(quán)重；

根據(jù)所述每幀音頻的頻譜得到第一對(duì)數(shù)能量譜和第一正余弦通道間相位差；

根據(jù)所述估計(jì)的幀級(jí)別笛卡爾坐標(biāo)和對(duì)應(yīng)權(quán)重，得到所述混合語(yǔ)音音頻中目標(biāo)說(shuō)話(huà)人的笛卡爾坐標(biāo)估計(jì)，所述目標(biāo)說(shuō)話(huà)人的笛卡爾坐標(biāo)估計(jì)指示加權(quán)的所述目標(biāo)說(shuō)話(huà)人的聲源位置估計(jì)；

根據(jù)所述目標(biāo)說(shuō)話(huà)人的笛卡爾坐標(biāo)得到第一角度特征；

根據(jù)所述第一對(duì)數(shù)能量譜、第一正余弦通道間相位差、第一角度特征和說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)得到第一目標(biāo)說(shuō)話(huà)人掩蔽和第一干擾說(shuō)話(huà)人掩蔽；

基于所述第一目標(biāo)說(shuō)話(huà)人掩蔽和第一干擾說(shuō)話(huà)人掩蔽和所述混合語(yǔ)音音頻，得到目標(biāo)說(shuō)話(huà)人語(yǔ)音和干擾說(shuō)話(huà)人語(yǔ)音。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

確定混合語(yǔ)音音頻的訓(xùn)練集，基于所述混合語(yǔ)音音頻的訓(xùn)練集確定訓(xùn)練語(yǔ)音音頻及標(biāo)簽；所述標(biāo)簽包括聲源位置向量、第二目標(biāo)說(shuō)話(huà)人語(yǔ)音和第二干擾說(shuō)話(huà)人語(yǔ)音；

根據(jù)所述訓(xùn)練語(yǔ)音音頻訓(xùn)練所述聲源位置估計(jì)網(wǎng)絡(luò)；

訓(xùn)練所述說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)；

聯(lián)合訓(xùn)練所述聲源位置估計(jì)網(wǎng)絡(luò)和所述說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)，獲得訓(xùn)練好的聲源位置估計(jì)網(wǎng)絡(luò)和說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述訓(xùn)練語(yǔ)音音頻訓(xùn)練所述聲源位置估計(jì)網(wǎng)絡(luò)，包括：

對(duì)所述訓(xùn)練語(yǔ)音音頻進(jìn)行分幀、加窗和傅里葉變換處理，得到所述訓(xùn)練語(yǔ)音音頻的頻譜；所述訓(xùn)練語(yǔ)音音頻的頻譜包括實(shí)部和虛部；

以所述實(shí)部和虛部拼接后的數(shù)據(jù)為所述聲源位置估計(jì)網(wǎng)絡(luò)的輸入，以聲源位置向量估計(jì)為輸出，計(jì)算第一損失函數(shù)的值，所述第一損失函數(shù)為聲源位置的均方誤差；

以所述第一損失函數(shù)的值在第一閾值以?xún)?nèi)為目標(biāo)進(jìn)行訓(xùn)練，得到訓(xùn)練好的所述聲源位置估計(jì)網(wǎng)絡(luò)和對(duì)應(yīng)的權(quán)重向量；所述聲源位置估計(jì)網(wǎng)絡(luò)包括3層卷積模塊、2層雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和2層全連接層。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述訓(xùn)練所述說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)，包括：

根據(jù)所述訓(xùn)練語(yǔ)音音頻和所述聲源位置向量確定第二角度特征、第二對(duì)數(shù)能量譜和第二正余弦通道間相位差；

以所述第二角度特征、第二對(duì)數(shù)能量譜和第二正余弦通道間相位差為輸入，以第二目標(biāo)說(shuō)話(huà)人掩蔽和第二干擾說(shuō)話(huà)人掩蔽為輸出，計(jì)算所述第二目標(biāo)說(shuō)話(huà)人掩蔽與所述訓(xùn)練語(yǔ)音音頻相乘的積，得到估計(jì)說(shuō)話(huà)人語(yǔ)音信號(hào)；

計(jì)算所述第二干擾說(shuō)話(huà)人掩蔽與訓(xùn)練語(yǔ)音音頻相乘的積，得到估計(jì)干擾說(shuō)話(huà)人語(yǔ)音信號(hào)；

計(jì)算第二損失函數(shù)的值，所述第二損失函數(shù)的值為估計(jì)語(yǔ)音信號(hào)與目標(biāo)語(yǔ)音信號(hào)損失比值的對(duì)數(shù)值；所述估計(jì)語(yǔ)音信號(hào)包括估計(jì)說(shuō)話(huà)人語(yǔ)音信號(hào)和估計(jì)干擾說(shuō)話(huà)人語(yǔ)音信號(hào)；所述目標(biāo)語(yǔ)音信號(hào)包括第二目標(biāo)說(shuō)話(huà)人語(yǔ)音和第二干擾說(shuō)話(huà)人語(yǔ)音；

以第二損失函數(shù)的值在第二閾值以?xún)?nèi)為目標(biāo)進(jìn)行訓(xùn)練，得到訓(xùn)練好的所述說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)，所述說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)包括3層雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和2個(gè)單獨(dú)的全連接層。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述聯(lián)合訓(xùn)練所述聲源位置估計(jì)網(wǎng)絡(luò)和所述說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)，包括：

組合所述聲源位置估計(jì)網(wǎng)絡(luò)和所述說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)，計(jì)算第三損失函數(shù)的值，所述第三損失函數(shù)的值為第一損失函數(shù)的值和第二損失函數(shù)的值之和；所述第一損失函數(shù)的值為聲源位置的均方誤差值；所述第二損失函數(shù)的值為估計(jì)語(yǔ)音信號(hào)與目標(biāo)語(yǔ)音信號(hào)損失比值的對(duì)數(shù)值；

以所述第三損失函數(shù)的值最小為目標(biāo)對(duì)聲源位置估計(jì)網(wǎng)絡(luò)和說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)進(jìn)行微調(diào)，得到訓(xùn)練好的聲源位置估計(jì)網(wǎng)絡(luò)和說(shuō)話(huà)人掩蔽估計(jì)網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)估計(jì)的幀級(jí)別笛卡爾坐標(biāo)和對(duì)應(yīng)權(quán)重，得到所述混合語(yǔ)音音頻中目標(biāo)說(shuō)話(huà)人的笛卡爾坐標(biāo)估計(jì)，包括：

根據(jù)所述估計(jì)的幀級(jí)別笛卡爾坐標(biāo)和對(duì)應(yīng)權(quán)重進(jìn)行softmax操作，計(jì)算加權(quán)的聲源位置估計(jì)，得到所述混合語(yǔ)音音頻中目標(biāo)說(shuō)話(huà)人的笛卡爾坐標(biāo)。