[發明專利]基于短語的端對端文本到語音（TTS）合成

在審

• 申請號: 202010460593.5
• 申請日: 2020-05-26
• 公開（公告）號: CN111681641A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 張冉;欒劍;叢亞歡
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/10;G10L13/02
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 張立達

本公開提供了用于基于短語的端對端文本到語音(TTS)合成的方法和裝置。可以獲得文本。可以識別所述文本中的目標短語。可以確定所述目標短語的短語上下文。可以至少基于所述目標短語和所述短語上下文來生成與所述目標短語對應的聲學特征。可以基于所述聲學特征來生成與所述目標短語對應的語音波形。

背景技術

文本到語音(TTS)合成旨在基于文本輸入來生成對應的語音波形。傳統的端對端TTS系統可以基于文本輸入來預測聲學特征，并進而基于所預測的聲學特征來生成語音波形。

發明內容

提供本發明內容以便介紹一組概念，這組概念將在以下的具體實施方式中做進一步描述。本發明內容并非旨在標識所保護主題的關鍵特征或必要特征，也不旨在用于限制所保護主題的范圍。

本公開的實施例提出了用于基于短語的端對端文本到語音(TTS)合成的方法和裝置。可以獲得文本。可以識別所述文本中的目標短語。可以確定所述目標短語的短語上下文。可以至少基于所述目標短語和所述短語上下文來生成與所述目標短語對應的聲學特征。可以基于所述聲學特征來生成與所述目標短語對應的語音波形。

應當注意，以上一個或多個方面包括以下詳細描述以及權利要求中具體指出的特征。下面的說明書及附圖詳細提出了所述一個或多個方面的某些說明性特征。這些特征僅僅指示可以實施各個方面的原理的多種方式，并且本公開旨在包括所有這些方面和其等同變換。

附圖說明

以下將結合附圖描述所公開的多個方面，這些附圖被提供用以說明而非限制所公開的多個方面。

圖1示出了示例性的傳統端對端TTS系統。

圖2示出了根據實施例的基于短語的端對端TTS合成的示例性過程。

圖3示出了根據實施例的基于短語的端對端TTS合成的示例性實現。

圖4示出了根據實施例的基于短語的端對端TTS合成的示例性實現。

圖5示出了根據實施例的上下文嵌入生成模塊的示例性實現。

圖6示出了根據實施例的聲學嵌入生成模塊的示例性實現。

圖7示出了根據實施例的準備訓練數據的示例性過程。

圖8示出了根據實施例的用于基于短語的端對端TTS合成的示例性方法的流程。

圖9示出了根據實施例的用于基于短語的端對端TTS合成的示例性裝置。

圖10示出了根據實施例的用于基于短語的端對端TTS合成的示例性裝置。

具體實施方式

現在將參考多種示例性實施方式來討論本公開。應當理解，這些實施方式的討論僅僅用于使得本領域技術人員能夠更好地理解并從而實施本公開的實施例，而并非教導對本公開的范圍的任何限制。

基于深度神經網絡的系統正在被越來越普遍地用于TTS任務。這些系統通常在語句級別上根據文本輸入來自回歸地生成聲學特征，例如梅爾譜特征，并且通過聲碼器來基于聲學特征合成語音。與非自回歸序列生成方式相比，這些端對端自回歸TTS系統可以改進所合成語音的質量。然而，由于自回歸屬性，這些系統具有較慢的語音合成速度，從而當提供在線服務時，將面臨較大的挑戰。此外，所合成語音的風格可能不穩定且可能在語句間顯著變化，并且這些系統缺乏對風格或韻律的有效控制。盡管一些非自回歸方式的語音合成可以提高語音合成速度，但是所生成語音的質量仍然與自回歸方式存在差距。

本公開的實施例提出了基于短語(phrase)的端對端TTS合成。在本文中，短語可以指構成語句的語言單元，其是通過對語句執行短語劃分而識別出的。一個語句可以包括一個或多個短語，每個短語可以包括一個或多個詞語、字符等。