[發明專利]語音波形生成方法、裝置、服務器及存儲介質

在審

• 申請號: 201911382443.0
• 申請日: 2019-12-27
• 公開（公告）號: CN113053356A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 伍宏傳;江源;胡國平;胡郁
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L19/00;G10L19/04;G10L21/0332;G10L25/12;G10L25/18;G10L25/24;G10L25/30;G10L15/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

1.一種語音波形生成方法，其特征在于，包括：

獲取輸入文本；

從所述輸入文本中提取條件特征；

將所述條件特征輸入訓練得到的波形生成模型，對所述條件特征進行處理，得到語音波形；所述波形生成模型包括先驗分布估計網絡和波形生成網絡，所述先驗分布估計網絡在訓練階段用于學習自然語音波形的編碼信息，所述波形生成網絡用于根據所述條件特征和所述先驗分布估計網絡的輸出結果生成所述語音波形。

2.根據權利要求1所述的方法，其特征在于，所述對所述條件特征進行處理，得到語音波形，包括：

利用所述先驗分布估計網絡根據所述條件特征得到所述先驗分布估計網絡的輸出結果，從所述先驗分布估計網絡的輸出結果中確定所述條件特征的隱變量；

利用所述波形生成網絡根據所述條件特征和所述條件特征的隱變量生成所述語音波形。

3.根據權利要求2所述的方法，其特征在于，所述利用所述先驗分布估計網絡根據所述條件特征得到所述先驗分布估計網絡的輸出結果，從所述先驗分布估計網絡的輸出結果中確定所述條件特征的隱變量，包括：

利用所述先驗分布估計網絡根據所述條件特征得到所述條件特征的隱變量的先驗分布；從所述條件特征的隱變量的先驗分布中采樣，得到所述條件特征的隱變量。

4.根據權利要求2所述的方法，其特征在于，所述利用所述波形生成網絡根據所述條件特征和所述條件特征的隱變量生成所述語音波形，包括：

將所述條件特征的隱變量和所述條件特征輸入所述波形生成網絡，得到先驗生成波形分布；對所述先驗生成波形分布進行概率分布變換，得到所述語音波形。

5.根據權利要求1～4任一項所述的方法，其特征在于，所述將所述條件特征輸入訓練得到的波形生成模型，對所述條件特征進行處理，得到語音波形之前，所述方法還包括：

獲取語音訓練樣本，所述語音訓練樣本包括自然語音波形和與所述自然語音波形對應的文本；

從所述自然語音波形或所述自然語音波形對應的文本中提取自然條件特征；

將所述自然語音波形和所述自然條件特征輸入所述波形生成模型，得到訓練結果；

根據所述訓練結果對所述波形生成模型的模型參數進行優化。

6.根據權利要求5所述的方法，其特征在于，所述波形生成模型還包括編碼器和判別器，所述將所述自然語音波形和所述自然條件特征輸入所述波形生成模型，得到訓練結果，包括：

將所述自然語音波形輸入所述編碼器，得到所述自然語音波形的第一隱變量的后驗分布；

將所述自然條件特征輸入所述先驗分布估計網絡，得到所述自然條件特征的第二隱變量的先驗分布；

根據所述第一隱變量的后驗分布和所述第二隱變量的先驗分布計算先驗損失函數；

從所述第一隱變量的后驗分布中采樣，得到所述第一隱變量，從所述第二隱變量的先驗分布中采樣，得到所述第二隱變量；

將所述第一隱變量、所述第二隱變量和所述自然條件特征輸入所述波形生成網絡，根據所述波形生成網絡輸出的波形結果計算似然損失函數；

將所述自然語音波形和所述波形生成網絡輸出的波形結果輸入所述判別器，根據所述判別器的輸出結果計算判別損失函數和對抗損失函數。

7.根據權利要求6所述的方法，其特征在于，所述將所述第一隱變量、所述第二隱變量和所述自然條件特征輸入所述波形生成網絡，根據所述波形生成網絡輸出的波形結果計算似然損失函數，包括：

將所述第一隱變量、所述第二隱變量和所述自然條件特征輸入所述波形生成網絡，根據所述第一隱變量和所述自然條件特征生成所述自然語音波形對應的重構波形，根據所述第二隱變量和所述自然條件特征生成所述自然條件特征對應的先驗生成波形；根據所述自然語音波形和所述重構波形的波形分布計算似然損失函數。