[發明專利]語音合成方法、聲碼器的訓練方法、裝置、設備及介質

有效

• 申請號: 202111057320.7
• 申請日: 2021-09-09
• 公開（公告）號: CN113782042B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 鄭藝斌
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L19/16
• 分類號: G10L19/16;G10L25/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 孫曉麗

1.一種語音合成方法，其特征在于，所述方法包括：

對目標語音幀的聲學特征進行特征編碼，得到編碼向量；

基于所述編碼向量以及s組歷史預測數據進行時序特征提取，得到時序特征向量，所述歷史預測數據包括歷史線性預測結果、歷史采樣點預測結果以及歷史預測殘差，s為大于等于2的整數；

基于所述編碼向量以及所述時序特征向量進行第一次殘差預測，得到第一采樣點的預測殘差；

基于所述編碼向量、所述時序特征向量以及第i采樣點的預測殘差進行第i+1次殘差預測，得到第i+1采樣點的預測殘差，i為小于s的正整數；

基于s個采樣點的預測殘差以及所述s個采樣點的線性預測結果，確定所述s個采樣點的采樣點預測結果；

基于所述s個采樣點的采樣點預測結果進行語音合成。

2.根據權利要求1所述的方法，其特征在于，所述基于所述編碼向量、所述時序特征向量以及第i采樣點的預測殘差進行第i+1次殘差預測，得到第i+1采樣點的預測殘差，包括：

對所述第i采樣點的預測殘差進行嵌入處理，得到第i嵌入向量；

對所述編碼向量、所述時序特征向量以及所述第i嵌入向量進行拼接，得到第i拼接向量；

對所述第i拼接向量進行第i+1次殘差預測，得到所述第i+1采樣點的預測殘差。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

基于所述目標語音幀的聲學特征確定m個線性預測系數，m的取值適配高采樣率，所述高采樣率高于采樣率閾值；

所述基于s個采樣點的預測殘差以及所述s個采樣點的線性預測結果，確定所述s個采樣點的采樣點預測結果，包括：

基于所述m個線性預測系數以及第i采樣點之前m個采樣點的歷史采樣點預測結果，確定所述第i采樣點的線性預測結果，i為小于s的正整數；

基于所述第i采樣點的預測殘差以及所述第i采樣點的線性預測結果，確定所述第i采樣點的采樣點預測結果。

4.根據權利要求1至3任一所述的方法，其特征在于，所述目標語音幀的聲學特征包括k維BFCC特征，不同維度的BFCC特征對應頻譜的不同頻帶，且將頻譜劃分為k個頻帶時，高頻區間內頻帶的目標劃分精細度高于標準劃分精細度，所述高頻區間的頻率高于頻率閾值。

5.根據權利要求1至3任一所述的方法，其特征在于，所述對目標語音幀的聲學特征進行特征編碼，得到編碼向量，包括：

通過聲碼器的幀率網絡FRN對所述目標語音幀的聲學特征進行特征編碼，得到所述編碼向量，所述聲碼器采用線性預測編碼網絡LPCnet結構；

所述基于所述編碼向量以及s組歷史預測數據進行時序特征提取，得到時序特征向量，包括：

通過所述聲碼器的采樣率網絡SRN，對所述編碼向量以及s組歷史預測數據進行時序特征提取，得到所述時序特征向量；

所述方法包括：

通過所述聲碼器的采樣率網絡SRN，對所述編碼向量以及所述時序特征向量進行采樣點預測，得到所述目標語音幀中所述s個采樣點的采樣點預測結果。

6.一種聲碼器的訓練方法，其特征在于，所述方法包括：

通過聲碼器對樣本語音幀的聲學特征進行特征編碼，得到樣本編碼向量；

通過所述聲碼器對所述樣本編碼向量以及s組樣本歷史預測數據進行時序特征提取，得到樣本時序特征向量，所述樣本歷史預測數據包括樣本歷史線性預測結果、樣本歷史采樣點預測結果以及樣本歷史預測殘差，s為大于等于2的整數；

通過所述聲碼器，基于所述樣本編碼向量以及所述樣本時序特征向量進行第一次殘差預測，得到第一樣本采樣點的樣本預測殘差；

基于所述樣本編碼向量、所述樣本時序特征向量以及第i樣本采樣點的預測殘差進行第i+1次殘差預測，得到第i+1樣本采樣點的樣本預測殘差，i為小于s的正整數；

基于s個樣本采樣點的樣本預測殘差以及樣本殘差真值，訓練所述聲碼器。