[發明專利]用于生成音頻的方法、裝置、設備和介質

在審

• 申請號: 202011270401.0
• 申請日: 2020-11-13
• 公開（公告）號: CN112382268A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 湯本來
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/033;G10L19/00;G10L25/03;G10L25/27
• 代理公司: 北京海智友知識產權代理事務所(普通合伙) 11455
• 代理人: 吳京順

本公開的實施例公開了用于生成音頻的方法、裝置、設備和介質。該用于生成音頻的方法的一具體實施方式包括：獲取源說話人的聲學特征信息和目標性別標簽信息；基于源說話人的聲學特征信息和目標性別標簽信息，使用預訓練的生成對抗網絡生成目標語音音頻，其中，目標性別標簽信息用于指示目標語音音頻的性別信息。該實施方式可以將源說話人的聲學特征信息轉換為具有目標性別標簽信息的語音音頻，由此實現了語音音頻的性別切換，豐富了語音音頻的生成方式。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及用于生成音頻的方法、裝置、設備和介質。

背景技術

近年來，由于短視頻和數字娛樂媒體的迅猛發展，將源說話人語音轉變為不同性別的語音得到了廣泛關注和研究。

對源說話人的語音進行切換的方式主要是利用頻譜搬移，將語音信號轉換為頻域信號，然后在頻域上，將信號頻譜整體搬移到高頻域范圍，最后再將其變換回時域，最終完成變聲目的。

發明內容

本公開提出了用于生成音頻的方法、裝置、設備和介質。

第一方面，本公開的實施例提供了一種用于生成音頻的方法，該方法包括：獲取源說話人的聲學特征信息和目標性別標簽信息；基于源說話人的聲學特征信息和目標性別標簽信息，使用預訓練的生成對抗網絡生成目標語音音頻，其中，目標性別標簽信息用于指示目標語音音頻的性別信息。

在一些實施例中，基于源說話人的聲學特征信息和目標性別標簽信息，使用預訓練的生成對抗網絡生成目標語音音頻，包括：將源說話人的聲學特征信息輸入預訓練的生成對抗網絡中生成網絡中的編碼器，得到編碼后的聲學特征信息；將編碼后的聲學特征信息和目標性別標簽信息輸入預訓練的生成對抗網絡中生成網絡中的解碼器，得到目標聲學特征信息；將目標聲學特征信息輸入聲碼器，得到目標語音音頻。

在一些實施例中，編碼器和解碼器通過以下方式訓練得到：獲取不同用戶提供的聲學特征信息樣本；將聲學特征信息樣本輸入待訓練的編碼器，得到編碼后的聲學特征信息樣本；將編碼后的聲學特征信息樣本輸入解碼器，得到預測的聲學特征信息；基于預測的聲學特征信息、與輸入的聲學特征信息樣本相對應的具有期望的性別標簽信息的聲學特征信息和生成對抗網絡中的判別網絡，對生成網絡的編碼器和解碼器進行訓練，得到訓練完成的編碼器和解碼器。

在一些實施例中，基于預測的聲學特征信息、與輸入的聲學特征信息樣本相對應的具有期望的性別標簽信息的聲學特征信息和生成對抗網絡中的判別網絡，對生成網絡的編碼器和解碼器進行訓練，得到訓練完成的編碼器和解碼器，包括：將預測的聲學特征信息輸入性別信息分類器，得到分類后的聲學特征信息；將分類后的聲學特征信息和與輸入的聲學特征信息樣本相對應的具有期望的性別標簽信息的聲學特征信息輸入判別網絡以對生成網絡的編碼器和解碼器進行訓練，得到訓練完成的編碼器和解碼器。

在一些實施例中，基于源說話人的聲學特征信息和目標性別標簽信息，使用預訓練的生成對抗網絡生成目標語音音頻，包括：基于源說話人的聲學特征信息、源說話人的性別標簽信息和目標性別標簽信息，使用預訓練的生成對抗網絡生成目標語音音頻，其中，所述源說話人的性別標簽信息用于指示源說話人的聲學特征信息的性別信息。

在一些實施例中，不同用戶提供的聲學特征信息樣本所對應的語音音頻的語音內容與源說話人的聲學特征信息所對應的語音音頻的語音內容相同。

在一些實施例中，聲學特征信息為梅爾頻譜信息。

第二方面，本公開的實施例提供了一種用于生成音頻的裝置，該裝置包括：獲取單元，被配置成獲取源說話人的聲學特征信息和目標性別標簽信息；生成單元，被配置成基于所述源說話人的聲學特征信息和目標性別標簽信息，使用預訓練的生成對抗網絡生成目標語音音頻，其中，目標性別標簽信息用于指示目標語音音頻的性別信息。