[發明專利]時長預測模型訓練方法和裝置、語音合成方法和裝置

在審

• 申請號: 202011389863.4
• 申請日: 2020-12-02
• 公開（公告）號: CN112542153A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 宋偉;張政臣
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08;G10L25/30
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 劉劍波

本公開提供一種時長預測模型訓練方法和裝置、語音合成方法和裝置。時長預測模型訓練方法包括：對音素訓練序列和對應的音頻訓練序列進行強制對齊處理以獲得音素發音時長；將每個音素的嵌入向量輸入機器學習模型以得到預測時長；根據每個音素的預測時長和發音時長確定損失函數；利用損失函數對機器學習模型進行訓練。語音合成方法包括：利用時長預測模型得到每個音素的預測發音時長以便進行音素擴展；提取聲學特征預測模型在上一時刻輸出結果的特征信息；利用GMM Attention機制對音素特征擴展序列和特征信息進行處理以得到上下文向量；將上下文向量和特征信息輸入聲學特征預測模型，以得到當前時刻的聲學特征輸出結果；利用聲學特征輸出結果進行語音合成。

技術領域

本公開涉及信息處理領域，特別涉及一種時長預測模型訓練方法和裝置、語音合成方法和裝置。

背景技術

在基于端到端的語音合成模型中，通過利用預設錄音和預設錄音相對應的文本對機器學習模型進行訓練，以便語音合成模型能夠根據文本生成類似真人的語音。

發明內容

發明人通過研究發現，在相關技術中，在基于序列到序列(seq2seq)的模型中，通過注意力(attention)機制學習了一個隱式的解碼器(decoder)和編碼器(encoder)的對應關系。由于注意力機制不可控，因此導致在實際應用中會存在很多問題，例如常見的skip/repeat問題，即某個音素會被丟掉或者重復發音。

據此，本公開提供一種語音合成方案，能夠讓基于序列到序列模型的語音合成可控，從而確保合成語音更加自然，提升了用戶體驗。

根據本公開實施例的第一方面，提供一種時長預測模型訓練方法，包括：對預設的音素訓練序列和對應的音頻訓練序列進行強制對齊處理，以便獲得所述音素訓練序列中的每個音素的發音時長；提取所述每個音素的嵌入向量；將所述每個音素的嵌入向量輸入機器學習模型，以得到所述每個音素的預測時長；根據所述每個音素的預測時長和所述發音時長確定損失函數；利用所述損失函數對所述機器學習模型進行訓練，以得到時長預測模型。

在一些實施例中，提取所述每個音素的嵌入向量包括：通過預設的嵌入向量表提取所述每個音素的嵌入向量。

在一些實施例中，所述機器學習模型包括多層的雙向長短期記憶網絡模型、多層的自注意力網絡模型或多層的卷積神經網絡模型。

根據本公開實施例的第二方面，提供一種時長預測模型訓練裝置，包括：第一處理模塊，被配置為對預設的音素訓練序列和對應的音頻訓練序列進行強制對齊處理，以便獲得所述音素訓練序列中的每個音素的發音時長；第二處理模塊，被配置為提取所述每個音素的嵌入向量；訓練模塊，被配置為將所述每個音素的嵌入向量輸入機器學習模型，以得到所述每個音素的預測時長，根據所述每個音素的預測時長和所述發音時長確定損失函數，利用所述損失函數對所述機器學習模型進行訓練，以得到時長預測模型。

根據本公開實施例的第三方面，提供一種時長預測模型訓練裝置，包括：存儲器，被配置為存儲指令；處理器，耦合到存儲器，處理器被配置為基于存儲器存儲的指令執行實現如上述任一實施例所述的方法。

根據本公開實施例的第四方面，提供一種語音合成方法，包括：將目標文本進行分解以得到多個音素，并提取每個音素的嵌入向量；利用上述任一實施例所述的時長預測模型訓練方法所得到的時長預測模型對所述每個音素的嵌入向量進行預測處理，以得到所述每個音素的預測發音時長；對所述每個音素進行擴展處理以得到音素特征擴展序列，以便所述每個音素的發音時長等于對應的預測發音時長；提取聲學特征預測模型在上一時刻的聲學特征輸出結果的特征信息；利用高斯混合模型注意力機制模塊對所述音素特征擴展序列和所述特征信息進行處理以得到上下文向量；將所述上下文向量和所述特征信息輸入所述聲學特征預測模型，以得到當前時刻的聲學特征輸出結果；根據所述聲學特征預測模型的聲學特征輸出結果進行語音合成。

在一些實施例中，利用所述高斯混合模型注意力機制模塊的偏置參數值調整合成語音的語速。