[發明專利]一種語音合成方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202011128996.6
• 申請日: 2020-10-20
• 公開（公告）號: CN112270917A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 詹皓粵;林悅
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08
• 代理公司: 北京超成律師事務所 11646
• 代理人: 張芮

1.一種語音合成方法，其特征在于，所述語音合成方法包括：

獲取待處理文本，以及待合成語音的音色特征；

根據預設的語音文本對應的字形與統一字符之間的映射關系，將所述待處理文本轉換成采用統一字符表示的文本字符集合；

從所述文本字符集合中提取出表示每個字和/或詞的基頻信息特征；

將所述待處理文本對應的文本字符集合、提取出的基頻信息特征以及音色特征輸入至訓練好的語音合成模型中，得到合成語音。

2.根據權利要求1所述的語音合成方法，其特征在于，所述根據預設的語音文本對應的字形與統一字符之間的映射關系，將所述待處理文本轉換成采用統一字符表示的文本字符集合，包括：

確定所述待處理文本對應的字形，以及所述待處理文本中的多個字和/或詞；

根據預設的語音文本對應的字形與音標之間的映射關系，確定所述待處理文本中的每個字和/或詞對應的音標；

基于每個字和/或詞對應的音標，以及每個字和/或詞在所述待處理文本中的位置，確定采用音標表示的文本字符集合。

3.根據權利要求1所述的語音合成方法，其特征在于，所述根據預設的語音文本對應的字形與統一字符之間的映射關系，將所述待處理文本轉換成采用統一字符表示的文本字符集合，包括：

確定所述待處理文本中每個字和/或詞對應的字形；

將每個字和/或詞對應的字形輸入至訓練好的文本處理模型中，得到每個字和/或詞對應的音標；

基于每個字和/或詞在所述待處理文本中的位置，確定采用音標表示的文本字符集合。

4.根據權利要求1所述的語音合成方法，其特征在于，所述將所述待處理文本對應的文本字符集合、提取出的基頻信息特征以及音色特征輸入至訓練好的語音合成模型中，得到合成語音，包括：

將所述文本字符集合和所述基頻信息特征輸入至訓練好的語音合成模型的前饋神經網絡中進行線性處理，得到所述基頻信息特征對應的第一線性特征和所述文本字符集合對應的第二線性特征；

將所述第一線性特征與所述第二線性特征整合后的特征結果輸入至訓練好的語音合成模型的多層卷積神經網絡中，得到第一輸出結果，將所述第一輸出結果輸入至訓練好的語音合成模型的注意力模型中，得到第二輸出結果；

將所述第一輸出結果、所述第二輸出結果和所述音色特征輸入至訓練好的語音合成模型中進行信息融合，得到所述待處理文本對應的合成語音。

5.根據權利要求1所述的語音合成方法，其特征在于，通過以下步驟訓練語音合成模型：

獲取多個語音樣本、與每個語音樣本對應的樣本文本和每個語音樣本對應的音色樣本特征；

針對于每個所述語音樣本對應的樣本文本，根據預設的語音文本對應的字形與統一字符之間的映射關系，將每個所述樣本文本轉換成采用統一字符表示的樣本字符集合；

從每個所述樣本字符集合中提取出表示每個字和/或詞的基頻信息樣本特征；

基于所述樣本字符集合、該樣本字符集合對應的基頻信息樣本特征、音色樣本特征以及語音樣本，對構建好的神經網絡模型進行訓練，得到訓練好的語音合成模型。

6.根據權利要求5所述的語音合成方法，其特征在于，所述基于所述樣本字符集合、該樣本字符集合對應的基頻信息樣本特征、音色樣本特征以及語音樣本，對構建好的神經網絡模型進行訓練，得到訓練好的語音合成模型，包括：

將所述樣本字符集合和該樣本字符集合對應的基頻信息樣本特征輸入至構建好的神經網絡模型的前饋神經網絡中，得到所述基頻信息樣本特征對應的第一預測線性特征和所述樣本字符集合對應的第二預測線性特征；

將所述第一預測線性特征與所述第二預測線性特征整合后的預測特征結果輸入至構建好的神經網絡模型的多層卷積神經網絡中，得到第一預測輸出結果，將所述第一預測輸出結果輸入至構建好的神經網絡模型的注意力模型中，得到第二預測輸出結果；

將所述第一預測輸出結果、所述第二預測輸出結果、所述音色樣本特征和所述語音樣本輸入至構建好的神經網絡模型中進行訓練，調整所述神經網絡模型的參數，得到訓練好的語音合成模型。