[發明專利]語音合成方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010006604.2
• 申請日: 2020-01-03
• 公開（公告）號: CN110797002B
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 顧王一
• 申請（專利權）人: 同盾控股有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L25/30
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 鄭思思

1.一種語音合成方法，其特征在于，包括以下步驟：

獲取文本數據，根據所述文本數據得到線性頻譜目標值和相位目標值，將所述文本數據轉化為文本向量；

將所述文本向量輸入神經網絡模型得到線性頻譜預測值和相位預測值，根據所述線性頻譜目標值、所述線性頻譜預測值、所述相位目標值和所述相位預測值計算整體損失，根據所述整體損失訓練所述神經網絡模型，通過訓練完成的所述神經網絡模型得到線性頻譜和初始相位；

將所述線性頻譜和所述初始相位輸入至Griffin-Lim聲碼器進行迭代訓練，得到所述文本數據對應的音頻信號；

其中，將所述線性頻譜和所述初始相位輸入至Griffin-Lim聲碼器進行迭代訓練，得到所述文本數據對應的音頻信號，包括：將所述線性頻譜和所述初始相位進行逆短時傅里葉變換得到音頻信號，通過Griffin-Lim聲碼器的迭代訓練，得到連接各音頻幀的連合相位，根據所述連合相位恢復并輸出所述文本數據對應的音頻信號。

2.如權利要求1所述的一種語音合成方法，其特征在于，根據所述文本數據得到線性頻譜目標值和相位目標值，將所述文本數據轉化為文本向量，包括：

獲取與所述文本數據匹配的音頻數據；

將所述音頻數據進行短時傅里葉變換得到所述線性頻譜目標值和所述相位目標值；

將所述文本數據進行分詞，得到所述文本數據的分詞結果，對所述分詞結果進行獨熱編碼得到文本向量。

3.如權利要求1所述的一種語音合成方法，其特征在于：所述神經網絡模型為Tacotron模型，將所述文本向量輸入神經網絡模型得到線性頻譜預測值和相位預測值，包括：

通過所述Tacotron模型對所述文本向量進行計算，得到維度相同的線性頻譜預測值和相位預測值。

4.如權利要求3所述的一種語音合成方法，其特征在于：根據所述線性頻譜目標值、所述線性頻譜預測值、所述相位目標值和所述相位預測值計算整體損失，包括：

將所述線性頻譜目標值和所述線性頻譜預測值輸入線性頻譜損失函數進行計算，得到線性頻譜損失；

將所述相位目標值和所述相位預測值輸入相位損失函數進行計算，得到相位損失；

將所述相位損失和所述線性頻譜損失按照預設的權重相加，得到整體損失。

5.如權利要求4所述的一種語音合成方法，其特征在于：根據所述整體損失訓練所述神經網絡模型，包括：

當所述整體損失大于或等于預設閾值時，基于所述整體損失訓練所述神經網絡模型，并得到當前訓練模型輸出的線性頻譜預測值和相位預測值，直到所述整體損失小于所述預設閾值時，得到訓練完成的所述神經網絡模型。

6.如權利要求1-5任一項所述的一種語音合成方法，其特征在于：所述線性頻譜和所述初始相位分別通過通道數量相同的頻譜通道和相位通道輸入至所述Griffin-Lim聲碼器。

7.一種語音合成裝置，其特征在于，其包括：

數據處理模塊，用于獲取文本數據，根據所述文本數據得到線性頻譜目標值和相位目標值，將所述文本數據轉化為文本向量；

模型訓練模塊，用于將所述文本向量輸入神經網絡模型得到線性頻譜預測值和相位預測值，根據所述線性頻譜目標值、所述線性頻譜預測值、所述相位目標值和所述相位預測值計算整體損失，根據所述整體損失訓練所述神經網絡模型，通過訓練完成的所述神經網絡模型得到線性頻譜和初始相位；

音頻輸出模塊，用于將所述線性頻譜和所述初始相位輸入至Griffin-Lim聲碼器進行迭代訓練，得到所述文本數據對應的音頻信號；其中，將所述線性頻譜和所述初始相位輸入至Griffin-Lim聲碼器進行迭代訓練，得到所述文本數據對應的音頻信號，包括：將所述線性頻譜和所述初始相位進行逆短時傅里葉變換得到音頻信號，通過Griffin-Lim聲碼器的迭代訓練，得到連接各音頻幀的連合相位，根據所述連合相位恢復并輸出所述文本數據對應的音頻信號。