[發明專利]帶有韻律的語音合成方法及系統

有效

• 申請號: 202011643693.8
• 申請日: 2020-12-31
• 公開（公告）號: CN112863482B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 俞凱;杜晨鵬
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G10L13/10
• 分類號: G10L13/10;G06N3/04;G06N3/08;G10L25/30
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

1.一種帶有韻律的語音合成方法，其中，對應的語音合成模型基于FastSpeech2架構實現，所述語音合成模型包括韻律提取器和混合密度網絡MDN，訓練時所述韻律提取器和所述混合密度網絡MDN都與FastSpeech2架構聯合訓練，所述方法包括：

使用基于混合高斯模型GMM的混合密度網絡MDN預測韻律；

從目標語音中提取音素級韻律信息作為所述混合密度網絡的訓練目標，其中，利用所述韻律提取器從基音mel譜段中提取出句子級韻律嵌入e，并將所述句子級韻律嵌入e投影到隱藏狀態序列h中，使用所述混合高斯模型GMM來模擬e的分布，GMM的參數由MDN預測，MDN以隱藏狀態序列h作為輸入，預測每個音素的神經網絡輸出、高斯分量的均值和高斯分量的方差，對GMM模擬的e的分布進行自回歸預測，并對每個音位的韻律嵌入進行抽樣，然后將抽樣后的嵌入序列投影并添加到相應的隱藏狀態序列h中；

利用訓練后的混合密度網絡對當前語音進行韻律預測，從預測得到的混合高斯分布中采樣各個音素的韻律信息；

基于采樣的各個音素的韻律信息合成語音。

2.根據權利要求1所述的方法，其中，所述利用訓練后的混合密度網絡對當前語音進行韻律預測包括：

利用訓練后的混合密度網絡對當前語音以及歷史韻律信息進行韻律預測。

3.根據權利要求1所述的方法，其中，所述音素級韻律信息是通過韻律提取器獲得，其中所述韻律提取器包括循環神經網絡層，用于嵌入音素級韻律信息。

4.根據權利要求3所述的方法，其中，所述韻律提取器的架構包括：二層二維卷積、批處理歸一化層和ReLU激活函數。

5.一種帶有韻律的語音合成系統，其中，對應的語音合成模型基于FastSpeech2架構實現，所述語音合成模型包括韻律提取器和混合密度網絡MDN，訓練時所述韻律提取器和所述混合密度網絡MDN都與FastSpeech2架構聯合訓練，所述系統包括：

韻律預測程序模塊，用于使用基于混合高斯模型GMM的混合密度網絡MDN預測韻律；

訓練目標確定程序模塊，用于從目標語音中提取音素級韻律信息作為所述混合密度網絡的訓練目標，其中，利用所述韻律提取器從基音mel譜段中提取出句子級韻律嵌入e，并將所述句子級韻律嵌入e投影到隱藏狀態序列h中，使用所述混合高斯模型GMM來模擬e的分布，GMM的參數由MDN預測，MDN以隱藏狀態序列h作為輸入，預測每個音素的神經網絡輸出、高斯分量的均值和高斯分量的方差，對GMM模擬的e的分布進行自回歸預測，并對每個音位的韻律嵌入進行抽樣，然后將抽樣后的嵌入序列投影并添加到相應的隱藏狀態序列h中；

韻律信息預測程序模塊，用于利用訓練后的混合密度網絡對當前語音進行韻律預測，從預測得到的混合高斯分布中采樣各個音素的韻律信息；

語音合成程序模塊，用于基于采樣的各個音素的韻律信息合成語音。

6.根據權利要求5所述的系統，其中，所述韻律信息預測程序模塊用于：

利用訓練后的混合密度網絡對當前語音以及歷史韻律信息進行韻律預測。

7.根據權利要求5所述的系統，其中，所述音素級韻律信息是通過韻律提取器獲得，其中所述韻律提取器包括循環神經網絡層，用于嵌入音素級韻律信息。

8.根據權利要求7所述的系統，其中，所述韻律提取器的架構包括：二層二維卷積、批處理歸一化層和ReLU激活函數。

9.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-4中任一項所述方法的步驟。

10.一種存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1-4中任一項所述方法的步驟。