[發明專利]語音合成方法及裝置、電子設備、計算機可讀存儲介質

有效

• 申請號: 202210738396.4
• 申請日: 2022-06-28
• 公開（公告）號: CN114822492B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 劉龍飛
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 蘇銀虹;王艷茹

1.一種語音合成方法，其特征在于，所述語音合成方法基于語音合成模型實現，所述語音合成模型包括編碼器、時長預測網絡、擴幀網絡和解碼器，所述語音合成方法包括：

將目標對象的語音和待合成文本輸入到所述編碼器中，得到第一特征和第二特征，其中，所述第一特征包含從所述目標對象的語音提取的特征，所述第二特征包含從所述待合成文本提取的特征；

將所述待合成文本輸入到所述時長預測網絡中，得到所述待合成文本中每個文本單元的第一時長，其中，所述第一時長是所述待合成文本按所述目標對象的聲音呈現的語音中相應文本單元的時長；

基于目標語音風格，將所述每個文本單元的第一時長調整為相應的第二時長；

將所述第一特征、所述第二特征和所述第二時長輸入到所述擴幀網絡中，得到按所述第二時長進行擴幀后的第三特征；

將所述第三特征輸入到所述解碼器中，得到符合目標語音風格的目標合成語音。

2.如權利要求1所述的語音合成方法，其特征在于，所述基于目標語音風格，將所述每個文本單元的第一時長調整為相應的第二時長，包括：

基于預設單元配置信息，確定所述待合成文本中待調整時長的文本單元，其中，所述預設單元配置信息包含待調整時長的文本單元的確定規則；

將每個待調整時長的文本單元的第一時長調整為符合目標語音風格的時長。

3.如權利要求2所述的語音合成方法，其特征在于，所述基于目標語音風格，將所述每個文本單元的第一時長調整為相應的第二時長，還包括：

將所述待合成文本中預定文本單元的第一時長調整為預定長度的時長，其中，所述預定文本單元是除所述待調整時長的文本單元之外的文本單元。

4.如權利要求2所述的語音合成方法，其特征在于，所述基于預設單元配置信息，確定所述待合成文本中待調整時長的文本單元，包括：

獲取所述待合成文本對應的語義信息；

基于所述語義信息和所述預設單元配置信息，確定所述待合成文本中待調整時長的文本單元。

5.如權利要求1所述的語音合成方法，其特征在于，所述語音合成模型通過如下方式進行訓練：

獲取訓練數據，其中，所述訓練數據包括訓練對象的語音、所述訓練對象的語音對應的文本以及所述文本中每個文本單元在所述訓練對象的語音中的實際時長；

將訓練對象的語音和所述訓練對象的語音對應的文本輸入到所述編碼器中，得到第一預估特征和第二預估特征，其中，所述第一預估特征包含從所述訓練對象的語音提取的特征，所述第二預估特征包含從所述文本提取的特征；

將所述文本輸入到所述時長預測網絡中，得到所述文本中每個文本單元在所述訓練對象的語音中的第一預估時長；

將所述第一預估特征、所述第二預估特征和所述文本中每個文本單元在所述訓練對象的語音中的實際時長輸入到所述擴幀網絡中，得到按所述實際時長進行擴幀后的第三預估特征；

將所述第三預估特征輸入到所述解碼器中，得到預估合成語音，其中，所述預估合成語音的風格與所述訓練對象的語音的風格相同；

基于所述第一預估時長、所述實際時長、所述訓練對象的語音和所述預估合成語音的損失值，調整所述語音合成模型的參數，對所述語音合成模型進行訓練。

6.如權利要求5所述的語音合成方法，其特征在于，所述基于所述第一預估時長、所述實際時長、所述訓練對象的語音和所述預估合成語音的損失值，調整所述語音合成模型的參數，對所述語音合成模型進行訓練，包括：

基于所述第一預估時長和所述實際時長，確定第一損失值；

基于所述訓練對象的語音和所述預估合成語音，確定第二損失值；

基于所述第一損失值和所述第二損失值，確定目標損失值；

基于目標損失值，調整所述語音合成模型的參數，對所述語音合成模型進行訓練。