[發(fā)明專利]音頻分離網(wǎng)絡(luò)的訓(xùn)練方法、音頻分離方法、裝置及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010086752.X
• 申請(qǐng)日: 2020-02-11
• 公開(kāi)（公告）號(hào): CN111341341B
• 公開(kāi)（公告）日: 2021-08-17
• 發(fā)明（設(shè)計(jì)）人: 王珺;林永業(yè);蘇丹;俞棟
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G10L21/0272
• 分類號(hào): G10L21/0272;G10L25/30;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 崔曉嵐;張穎玲

1.一種音頻分離網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，所述方法包括：

獲取第一分離樣本集合，所述第一分離樣本集合中至少包括兩類具有偽標(biāo)簽的音頻；

其中，所述獲取第一分離樣本集合，包括：獲取至少包括未標(biāo)注音頻的樣本音頻；采用已訓(xùn)練的有監(jiān)督網(wǎng)絡(luò)，按照音頻數(shù)據(jù)的類型，對(duì)所述樣本音頻進(jìn)行分離，得到每一類型的分離樣本，以得到所述第一分離樣本集合；其中，所述有監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)是基于無(wú)監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行更新的；

將每一第一分離樣本一一對(duì)應(yīng)的與不同的擾動(dòng)數(shù)據(jù)相乘，得到調(diào)整數(shù)據(jù)集合；

對(duì)所述調(diào)整數(shù)據(jù)集合中的調(diào)整數(shù)據(jù)求和，得到第一樣本集合；

采用無(wú)監(jiān)督網(wǎng)絡(luò)對(duì)所述第一樣本集合進(jìn)行分離，得到第二分離樣本集合；

確定每一第二分離樣本與所述第一分離樣本集合的真值數(shù)據(jù)之間的損失，得到每一第二分離樣本的損失，以得到損失集合；

采用所述第二分離樣本的損失，對(duì)所述無(wú)監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，以使調(diào)整后的無(wú)監(jiān)督網(wǎng)絡(luò)輸出的分離結(jié)果的損失滿足收斂條件；

其中，所述采用所述第二分離樣本的損失，對(duì)所述無(wú)監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，包括：從所述損失集合中，確定最小損失；基于所述最小損失，更新所述無(wú)監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，得到更新的網(wǎng)絡(luò)參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述基于所述最小損失，更新所述無(wú)監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，得到更新的網(wǎng)絡(luò)參數(shù)之后，所述方法還包括：

將所述更新的網(wǎng)絡(luò)參數(shù)反饋給所述有監(jiān)督網(wǎng)絡(luò)，以調(diào)整所述有監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，得到更新的有監(jiān)督網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述更新的網(wǎng)絡(luò)參數(shù)反饋給所述有監(jiān)督網(wǎng)絡(luò)，以調(diào)整所述有監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，得到更新的有監(jiān)督網(wǎng)絡(luò)，包括：

確定所述更新的網(wǎng)絡(luò)參數(shù)的滑動(dòng)平均值；

將所述滑動(dòng)平均值反饋給所述有監(jiān)督網(wǎng)絡(luò)，以調(diào)整所述有監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，以得到所述更新的有監(jiān)督網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，在所述將所述更新的網(wǎng)絡(luò)參數(shù)反饋給所述有監(jiān)督網(wǎng)絡(luò)，以調(diào)整所述有監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，得到更新的有監(jiān)督網(wǎng)絡(luò)之后，所述方法還包括：

采用所述更新的有監(jiān)督網(wǎng)絡(luò)，對(duì)所述樣本音頻進(jìn)行再次分離，得到第三分離樣本集合；

采用所述擾動(dòng)數(shù)據(jù)對(duì)所述第三分離樣本集合進(jìn)行插值，得到第二樣本集合，并將所述第二樣本集合輸入更新的無(wú)監(jiān)督網(wǎng)絡(luò)；

采用所述更新的無(wú)監(jiān)督網(wǎng)絡(luò)對(duì)所述第二樣本集合進(jìn)行再次預(yù)測(cè)分離，得到第四分離樣本集合；

確定所述第四分離樣本集合中第四分離樣本的損失；

采用所述第四分離樣本的損失，對(duì)所述更新的無(wú)監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)和所述更新的有監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，以使調(diào)整后的更新的無(wú)監(jiān)督網(wǎng)絡(luò)輸出的分離結(jié)果的損失滿足收斂條件。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述采用已訓(xùn)練的有監(jiān)督網(wǎng)絡(luò)，按照音頻數(shù)據(jù)的類型，對(duì)所述樣本音頻進(jìn)行分離，得到每一類型的分離樣本，以得到所述第一分離樣本集合之前，所述方法還包括：

獲取有標(biāo)注的干凈樣本音頻和噪聲樣本音頻；

將所述干凈樣本音頻和噪聲樣本音頻相混合，得到第三樣本集合；

采用待訓(xùn)練的有監(jiān)督網(wǎng)絡(luò)對(duì)所述第三樣本集合進(jìn)行分離，得到第五分離樣本集合；

確定所述第五分離樣本集合中的第五分離樣本的損失；

采用所述第五分離樣本的損失，對(duì)所述待訓(xùn)練的有監(jiān)督網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，以使調(diào)整后的待訓(xùn)練的有監(jiān)督網(wǎng)絡(luò)輸出的分離結(jié)果的損失滿足收斂條件，得到已訓(xùn)練的所述有監(jiān)督網(wǎng)絡(luò)。

6.一種音頻分離方法，其特征在于，所述方法包括：

獲取待分離音頻；

采用已訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)所述待分離音頻進(jìn)行分離，得到分離結(jié)果；其中，所述神經(jīng)網(wǎng)絡(luò)為基于上述權(quán)利要求1至5任一項(xiàng)所述的音頻分離網(wǎng)絡(luò)的訓(xùn)練方法訓(xùn)練得到的；

輸出所述分離結(jié)果。