[發明專利]時長預測模型訓練方法和裝置、語音合成方法和裝置

在審

• 申請號: 202011389863.4
• 申請日: 2020-12-02
• 公開（公告）號: CN112542153A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 宋偉;張政臣
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08;G10L25/30
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 劉劍波

1.一種時長預測模型訓練方法，包括：

對預設的音素訓練序列和對應的音頻訓練序列進行強制對齊處理，以便獲得所述音素訓練序列中的每個音素的發音時長；

提取所述每個音素的嵌入向量；

將所述每個音素的嵌入向量輸入機器學習模型，以得到所述每個音素的預測時長；

根據所述每個音素的預測時長和所述發音時長確定損失函數；

利用所述損失函數對所述機器學習模型進行訓練，以得到時長預測模型。

2.根據權利要求1所述的方法，其中，提取所述每個音素的嵌入向量包括：

通過預設的嵌入向量表提取所述每個音素的嵌入向量。

3.根據權利要求1或2所述的方法，其中，

所述機器學習模型包括多層的雙向長短期記憶網絡模型、多層的自注意力網絡模型或多層的卷積神經網絡模型。

4.一種時長預測模型訓練裝置，包括：

第一處理模塊，被配置為對預設的音素訓練序列和對應的音頻訓練序列進行強制對齊處理，以便獲得所述音素訓練序列中的每個音素的發音時長；

第二處理模塊，被配置為提取所述每個音素的嵌入向量；

訓練模塊，被配置為將所述每個音素的嵌入向量輸入機器學習模型，以得到所述每個音素的預測時長，根據所述每個音素的預測時長和所述發音時長確定損失函數，利用所述損失函數對所述機器學習模型進行訓練，以得到時長預測模型。

5.一種時長預測模型訓練裝置，包括：

存儲器，被配置為存儲指令；

處理器，耦合到存儲器，處理器被配置為基于存儲器存儲的指令執行實現如權利要求1-3中任一項所述的方法。

6.一種語音合成方法，包括：

將目標文本進行分解以得到多個音素，并提取每個音素的嵌入向量；

利用權利要求1-3中任一項所述的時長預測模型訓練方法所得到的時長預測模型對所述每個音素的嵌入向量進行預測處理，以得到所述每個音素的預測發音時長；

對所述每個音素進行擴展處理以得到音素特征擴展序列，以便所述每個音素的發音時長等于對應的預測發音時長；

提取聲學特征預測模型在上一時刻的聲學特征輸出結果的特征信息；

利用高斯混合模型注意力機制模塊對所述音素特征擴展序列和所述特征信息進行處理以得到上下文向量；

將所述上下文向量和所述特征信息輸入所述聲學特征預測模型，以得到當前時刻的聲學特征輸出結果；

根據所述聲學特征預測模型的聲學特征輸出結果進行語音合成。

7.根據權利要求6所述的方法，還包括：

利用所述高斯混合模型注意力機制模塊的偏置參數值調整合成語音的語速。

8.根據權利要求7所述的方法，其中，

在所述偏置參數值大于1的情況下，所述合成語音的語速被增大，且所述合成語音的語速與所述偏置參數值成正相關關系；

在所述偏置參數值小于1的情況下，所述合成語音的語速被減小，且所述合成語音的語速與所述偏置參數值成正相關關系。

9.根據權利要求6-8中任一項所述的方法，其中，

所述聲學特征預測模型為梅爾頻譜預測模型。