[發(fā)明專利]用于合成音頻的方法和裝置

有效

• 申請?zhí)枺?/td>: 202010753531.3
• 申請日: 2020-07-30
• 公開（公告）號: CN111899747B
• 公開（公告）日: 2023-03-07
• 發(fā)明（設(shè)計）人: 殷翔
• 申請（專利權(quán)）人: 抖音視界有限公司
• 主分類號: G10L19/018
• 分類號: G10L19/018
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 魏嘉熹

1.一種用于合成音頻的方法，包括：

獲取初始音頻；

利用音頻生成器對所述初始音頻添加水印噪聲音頻，生成帶噪聲的合成音頻，其中，所述音頻生成器是作為生成對抗網(wǎng)絡(luò)中的生成器、與所述生成對抗網(wǎng)絡(luò)中的判別器進(jìn)行對抗訓(xùn)練得到的，所述判別器用于判定所述合成音頻是否為帶噪聲的音頻；

其中，所述音頻生成器和所述判別器是通過如下方式進(jìn)行交替訓(xùn)練的：

獲取初始樣本音頻；

通過待訓(xùn)練的生成對抗網(wǎng)絡(luò)中的生成器對所述初始樣本音頻添加噪聲，生成樣本合成音頻；

獲取預(yù)先設(shè)定的相似度閾值，當(dāng)所述待訓(xùn)練的生成對抗網(wǎng)絡(luò)中的判別器判定樣本合成音頻的頻率分布與初始樣本音頻的頻率分布的相似度達(dá)到所述相似度閾值時，判定樣本合成音頻為不帶噪聲的音頻，當(dāng)所述判別器判定樣本合成音頻的頻率分布與初始樣本音頻的頻率分布的相似度未達(dá)到所述相似度閾值時，判定樣本合成音頻為帶噪聲的音頻；

當(dāng)判別器判定樣本合成音頻為帶噪聲的音頻，則生成針對生成器的反饋信息，并基于所述反饋信息更新生成器，再利用更新后的生成器更新對初始樣本音頻添加噪聲后生成的樣本合成音頻，并利用判別器再次進(jìn)行判別；

當(dāng)判別器判定樣本合成音頻為不帶噪聲的音頻，則生成針對判別器的反饋信息，并基于所述反饋信息更新判別器。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：

獲取待鑒別版權(quán)的音頻；

提取所述待鑒別版權(quán)的音頻中的噪聲和原始音頻，響應(yīng)于所述待鑒別版權(quán)的音頻中的噪聲為使用所述音頻生成器對與提取出的所述原始音頻對應(yīng)的初始音頻添加的水印噪聲，確定所述待鑒別版權(quán)的音頻的版權(quán)屬于所述音頻生成器的歸屬方。

3.一種用于訓(xùn)練音頻生成器的方法，包括：

獲取初始樣本音頻；

通過對待訓(xùn)練的音頻生成器執(zhí)行至少一輪迭代操作得到目標(biāo)音頻生成器，其中所述迭代操作包括：

將所述待訓(xùn)練的音頻生成器作為待訓(xùn)練的生成對抗網(wǎng)絡(luò)中的生成器，對所述初始樣本音頻添加噪聲，生成樣本合成音頻；

獲取預(yù)先設(shè)定的相似度閾值，當(dāng)所述待訓(xùn)練的生成對抗網(wǎng)絡(luò)中的判別器判定樣本合成音頻的頻率分布與初始樣本音頻的頻率分布的相似度達(dá)到所述相似度閾值時，判定樣本合成音頻為不帶噪聲的音頻，當(dāng)所述判別器判定樣本合成音頻的頻率分布與初始樣本音頻的頻率分布的相似度未達(dá)到所述相似度閾值時，判定樣本合成音頻為帶噪聲的音頻；

當(dāng)判別器判定樣本合成音頻為帶噪聲的音頻，則生成針對生成器的反饋信息，并基于所述反饋信息更新生成器，再利用更新后的生成器更新對初始樣本音頻添加噪聲后生成的樣本合成音頻，并利用判別器再次進(jìn)行判別；

當(dāng)判別器判定樣本合成音頻為不帶噪聲的音頻，則生成針對判別器的反饋信息，并基于所述反饋信息更新判別器。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述方法還包括：

響應(yīng)于所述迭代操作達(dá)到預(yù)設(shè)終止條件，停止所述迭代操作，并將在最后一輪迭代操作中更新的生成器確定為目標(biāo)音頻生成器，將所述目標(biāo)音頻生成器生成的帶噪聲的合成音頻確定為目標(biāo)合成音頻。