[發明專利]一種語音合成方法以及語音合成系統

在審

• 申請號: 202110048322.3
• 申請日: 2021-01-14
• 公開（公告）號: CN112908294A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 肖朔
• 申請（專利權）人: 杭州倒映有聲科技有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/033
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張靜

1.一種語音合成方法，其特征在于，包括：

將待輸入文本轉換成文本編碼向量；

將待輸入梅爾聲譜轉換成風格編碼向量；

基于當前時間周期的待輸入梅爾聲譜、上一時間周期的所述文本編碼向量以及上一時間周期的所述風格編碼向量，確定出目標梅爾聲譜；

將所述目標梅爾聲譜轉換成音頻信號。

2.根據權利要求1所述的語音合成方法，其特征在于，所述將待輸入文本轉換成文本編碼向量，包括：

對所述待輸入文本進行嵌入處理，生成序列形式的文本向量；

將所述文本向量輸入預設卷積神經網絡，并將所述預設卷積神經網絡的輸出數據輸入預設循環神經網絡，由所述預設循環神經網絡輸出預設長度的文本編碼向量。

3.根據權利要求1所述的語音合成方法，其特征在于，所述將待輸入梅爾聲譜轉換成風格編碼向量，包括：

將所述待輸入梅爾聲譜經過預設卷積神經網絡、預設循環神經網絡以及預設全連接網絡，轉換成編碼序列；

將所述編碼序列經過多頭注意力機制，生成相對于每個預設特征向量的加權系數，所述預設特征向量表征朗讀風格；

基于所述加權系數，對所述預設特征向量進行加權處理，生成預設長度的風格編碼向量。

4.根據權利要求1所述的語音合成方法，其特征在于，所述基于當前時間周期的待輸入梅爾聲譜、上一時間周期的所述文本編碼向量以及上一時間周期的所述風格編碼向量，確定出目標梅爾聲譜，包括：

將所述當前時間周期的待輸入梅爾聲譜輸入預處理網絡，由所述預處理網絡生成編碼的梅爾聲譜特征；

將所述上一時間周期的所述文本編碼向量與所述上一時間周期的所述風格編碼向量經過注意力機制，得到上一時間周期的上下文向量；

將所述編碼的梅爾聲譜特征與所述上一時間周期的上下文向量進行拼接，并將拼接后的向量輸入預設循環神經網絡，由所述預設循環神經網絡生成解碼輸出；

將當前時間周期的文本編碼向量與當前時間周期的風格編碼向量經過注意力機制，得到當前時間周期的上下文向量；

將所述解碼輸出與所述當前時間周期的上下文向量進行拼接，并將拼接后的向量輸入第一線性投影層以及第二線性投影層，由所述第一線性投影層生成結束標識，由所述第二線性投影層生成聲譜殘差向量以及信號值向量，將所述聲譜殘差向量與所述信號量向量進行拼接，生成所述目標梅爾聲譜。

5.根據權利要求4所述的語音合成方法，其特征在于，所述將所述目標梅爾聲譜轉換成音頻信號，包括：

將所述目標梅爾聲譜經過預設卷積神經網絡、預設全連接網絡，生成幀級別的特征條件向量；

基于所述目標梅爾聲譜，計算出當前幀的線性預測參數；

基于所述線性預測參數，對所述目標梅爾聲譜進行線性預測，得到當前時間周期的預測值向量；

將所述特征條件向量、所述當前時間周期的預測值向量、所述上一時間周期的聲譜殘差向量以及所述上一時間周期的信號量向量進行拼接，生成當前時間周期的特征向量；

將所述當前時間周期的特征向量經過預設卷積神經網絡、預設全連接網絡，預測出當前時間周期的殘差值向量；

確定所述當前時間周期的預測值向量與所述當前時間周期的殘差值向量的加和為所述音頻信號。

6.一種語音合成系統，其特征在于，包括：文本編碼器、風格編碼器、解碼器以及合成器；

所述文本編碼器用于將待輸入文本轉換成文本編碼向量；

所述風格編碼器用于將待輸入梅爾聲譜轉換成風格編碼向量；

所述解碼器與所述文本編碼器以及所述風格編碼器相連，用于基于當前時間周期的待輸入梅爾聲譜、上一時間周期的所述文本編碼向量以及上一時間周期的所述風格編碼向量，確定出目標梅爾聲譜；

所述合成器與所述解碼器相連，用于將所述目標梅爾聲譜轉換成音頻信號。