[發明專利]語音合成方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202011138907.6
• 申請日: 2020-10-22
• 公開（公告）號: CN112086086A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 曾振;王健宗;程寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/10
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 袁文婷;張娓娓

1.一種語音合成方法，其特征在于，所述方法包括：

對獲取的待合成文本進行語義提取處理，得到語義特征序列；

通過韻律預測模型對所述語義特征序列進行韻律預測處理，得到所述待合成文本的韻律情感特征；

將所述韻律情感特征與預先獲取的所述待合成文本的音節序列同時輸入語音特征預測模型，進行語音預測處理，得到所述待合成文本的語音特征譜；

將所述語音特征譜與所述待合成文本合成帶有韻律情感的語音。

2.根據權利要求1所述的語音合成方法，其特征在于，所述對獲取的待合成文本進行語義提取處理，得到語義特征序列包括：

將所述待合成文本進行字分隔處理，得到字符合集；

將所述字符合集輸入預訓練語言模型進行語義提取處理，得到語義特征序列；其中，所述預訓練語言模型包括：

用于輸入所述字符合集的輸入層、用于對所述輸入層的字符合集進行向量轉化處理的向量編碼層、用于對所述向量編碼層得到的字向量、文本向量和位置向量進行增強語義向量處理的自注意力機制層、用于將所述自注意力機制層得到的每個字的增強語義向量進行降維及拼接處理的池化層和用于將所述池化層得到的語義特征序列輸出的輸出層。

3.根據權利要求1所述的語音合成方法，其特征在于，所述韻律預測模型包括：

用于輸入所述語義特征序列的輸入線性層、用于根據輸入線性層的語義特征序列從預先學習到的韻律情感樣本中找到與所述語義特征序列相對應的韻律情感特征的記憶網絡層；用于將所述相對應的韻律情感特征輸出的輸出線性層。

4.根據權利要求1所述的語音合成方法，其特征在于，在所述將所述韻律情感特征與預先獲取的所述待合成文本的音節序列同時輸入語音特征預測模型，進行語音預測處理，得到所述待合成文本的語音特征譜之前還包括：

按照預設音調調整規則對所述韻律情感特征進行音調調整，得到所述待合成文本的待用韻律情感特征。

5.根據權利要求4所述的語音合成方法，其特征在于，所述按照預設音調調整規則對所述韻律情感特征進行音調調整，得到所述待合成文本的待用韻律情感特征譜包括：

獲取韻律情感特征的序列元素向量；

按照預設音調調整規則對所述序列元素向量的數值進行調整，得到所述待合成文本的待用韻律情感特征譜。

6.根據權利要求1所述的語音合成方法，其特征在于，所述語音特征預測模型包括：

用于將所述音節序列轉化為音節嵌入向量的字符嵌入層、用于將所述韻律情感特征經過線性處理后疊加至所述音節嵌入向量的疊加層、用于將所述疊加層得到的語音特征譜輸出的語音特征輸出層。

7.根據權利要求1所述的語音合成方法，其特征在于，所述將所述語音特征譜與所述待合成文本合成帶有韻律情感的語音包括：

通過聲碼器根據所述語音特征譜對所述待合成文本進行語音合成，得到帶有韻律情感的語音。

8.一種語音合成裝置，其特征在于，所述裝置包括：

語義提取模塊，用于對獲取的待合成文本進行語義提取處理，得到語義特征序列；

韻律情感特征獲取模塊，用于通過韻律預測模型對所述語義特征序列進行韻律預測處理，得到所述待合成文本的韻律情感特征；

語音特征獲取模塊：用于將所述韻律情感特征與預先獲取的所述待合成文本的音節序列同時輸入語音特征預測模型，進行語音預測處理，得到所述待合成文本的語音特征譜；

語音合成模塊：用于將所述語音特征譜與所述待合成文本合成帶有韻律情感的語音。

9.一種電子設備，其特征在于，所述電子設備包括：

至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如權利要求1至7中任一所述的語音合成方法。

10.一種計算機可讀存儲介質，存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7中任一所述的語音合成方法。