[發明專利]用于合成音頻的方法和裝置

有效

• 申請號: 202010753531.3
• 申請日: 2020-07-30
• 公開（公告）號: CN111899747B
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 殷翔
• 申請（專利權）人: 抖音視界有限公司
• 主分類號: G10L19/018
• 分類號: G10L19/018
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹

本公開的實施例公開了用于合成音頻的方法和裝置。該方法的一具體實施方式包括：獲取初始音頻；利用音頻生成器對初始音頻添加預設的水印噪聲音頻，生成帶噪聲的合成音頻，其中，音頻生成器是作為生成式對抗網絡中的生成器、與生成式對抗網絡中的判別器進行對抗訓練得到的，判別器用于判定合成音頻是否為帶噪聲的音頻。采用該方法可以實現在初始音頻中加入音頻水印。

技術領域

本公開涉及計算機技術領域，尤其涉及用于合成音頻的方法和裝置。

背景技術

隨著人工智能技術的發展，語音生成技術也日漸成熟，并廣泛應用到人們的生活中，例如，利用語音生成技術生成有聲讀物、或者利用語音生成技術生成智能硬件的發音等。

在應用語音生成技術生成語音的同時，需要在生成語音中加入音頻水印。

發明內容

本公開的實施例提出了用于合成音頻的方法和裝置、以及用于訓練音頻生成器的方法和裝置。

第一方面，本公開的實施例提供了一種用于合成音頻的方法，該方法包括：獲取初始音頻；利用音頻生成器對初始音頻添加預設的水印噪聲音頻，生成帶噪聲的合成音頻，其中，音頻生成器是作為生成式對抗網絡中的生成器、與生成式對抗網絡中的判別器進行對抗訓練得到的，判別器用于判定合成音頻是否為帶噪聲的音頻。

在一些實施例中，判別器基于合成音頻的頻率分布與初始音頻的頻率分布判定合成音頻是否為帶噪聲的音頻。

在一些實施例中，用于合成音頻的方法還包括：獲取待鑒別版權的音頻；提取待鑒別版權的音頻中的噪聲和原始音頻，響應于待鑒別版權的音頻中的噪聲為使用音頻生成器對與提取出的原始音頻對應的初始音頻添加的水印噪聲，確定待鑒別版權的音頻的版權屬于音頻生成器的歸屬方。

第二方面，本公開的實施例提供了一種用于訓練音頻生成器的方法，該方法包括：獲取初始樣本音頻；通過對待訓練的音頻生成器執行至少一輪迭代操作得到目標音頻生成器，其中迭代操作包括：將待訓練的音頻生成器作為待訓練的生成對抗網絡中的生成器對初始樣本音頻添加噪聲，生成樣本合成音頻；利用待訓練的生成對抗網絡中的判別器判別生成器生成的樣本合成音頻是否為帶噪聲的音頻；基于判別器的判別結果更新生成器和判別器。

在一些實施例中，基于判別器的判別結果更新生成器和判別器，包括：執行第一更新操作和第二更新操作，其中，在第一更新操作中根據判別器的判定結果更新生成器，并利用更新后的生成器更新對初始樣本音頻添加噪聲后生成的樣本合成音頻，利用判別器判別更新的樣本合成音頻是否為帶噪聲的音頻，在第二更新操作中根據第一更新操作中判別器的判定結果更新判別器。

在一些實施例中，利用待訓練的生成對抗網絡中的判別器判別生成器生成的樣本合成音頻是否為帶噪聲的音頻，包括：利用判別器判定樣本合成音頻的頻率分布是否與對應的初始樣本音頻的頻率分布一致，根據判別器的判定結果確定生成器生成的樣本合成音頻是否為帶噪聲的音頻。

在一些實施例中，用于訓練音頻生成器的方法還包括：響應于迭代操作達到預設終止條件，停止迭代操作，并將在最后一輪迭代操作中更新的生成器確定為目標音頻生成器，將目標音頻生成器生成的帶噪聲的合成音頻確定為目標合成音頻。

第三方面，本公開的實施例提供了一種用于合成音頻的裝置，該裝置包括：獲取單元，被配置為獲取初始音頻；生成單元，被配置為利用音頻生成器對初始音頻添加預設的水印噪聲音頻，生成帶噪聲的合成音頻，其中，音頻生成器是作為生成式對抗網絡中的生成器、與生成式對抗網絡中的判別器進行對抗訓練得到的，判別器用于判定合成音頻是否為帶噪聲的音頻。

在一些實施例中，判別器基于合成音頻的頻率分布與初始音頻的頻率分布判定合成音頻是否為帶噪聲的音頻。