[發明專利]自發式文本到語音（TTS）合成

在審

• 申請號: 202010566131.1
• 申請日: 2020-06-19
• 公開（公告）號: CN113823256A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 張冉;欒劍;叢亞歡
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08;G10L25/12
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 張立達

本公開提供了用于自發式文本到語音(TTS)合成的方法和裝置。可以獲得目標文本。可以至少基于所述目標文本來確定流利度參考因子。可以利用所述流利度參考因子來生成與所述目標文本對應的聲學特征。可以基于所述聲學特征來生成與所述目標文本對應的語音波形。

背景技術

文本到語音(TTS)合成旨在基于文本輸入來生成對應的語音波形。傳統的端對端TTS系統可以基于文本輸入來預測聲學特征，并進而基于所預測的聲學特征來生成語音波形。

發明內容

提供本發明內容以便介紹一組概念，這組概念將在以下的具體實施方式中做進一步描述。本發明內容并非旨在標識所保護主題的關鍵特征或必要特征，也不旨在用于限制所保護主題的范圍。

本公開的實施例提出了用于自發式TTS合成的方法和裝置。可以獲得目標文本。可以至少基于所述目標文本來確定流利度參考因子。可以利用所述流利度參考因子來生成與所述目標文本對應的聲學特征。可以基于所述聲學特征來生成與所述目標文本對應的語音波形。

應當注意，以上一個或多個方面包括以下詳細描述以及權利要求中具體指出的特征。下面的說明書及附圖詳細提出了所述一個或多個方面的某些說明性特征。這些特征僅僅指示可以實施各個方面的原理的多種方式，并且本公開旨在包括所有這些方面和其等同變換。

附圖說明

以下將結合附圖描述所公開的多個方面，這些附圖被提供用以說明而非限制所公開的多個方面。

圖1示出了示例性的傳統端對端TTS系統。

圖2示出了根據實施例的自發式TTS合成的示例性過程。

圖3示出了根據實施例的用于生成自發式語音的示例性過程。

圖4示出了根據實施例的自發式TTS合成的示例性實現。

圖5示出了根據實施例的自發式TTS合成的示例性實現。

圖6示出了根據實施例的流利度等級表示信息生成的示例性實現。

圖7示出了根據實施例的準備訓練數據的示例性過程。

圖8示出了根據實施例的用于自發式TTS合成的示例性方法的流程圖。

圖9示出了根據實施例的用于自發式TTS合成的示例性裝置。

圖10示出了根據實施例的用于自發式TTS合成的示例性裝置。

具體實施方式

現在將參考多種示例性實施方式來討論本公開。應當理解，這些實施方式的討論僅僅用于使得本領域技術人員能夠更好地理解并從而實施本公開的實施例，而并非教導對本公開的范圍的任何限制。

傳統的TTS系統通常被設計用于以與輸入文本準確對應的方式且以固定的講話風格來合成語音。傳統語音合成的目標通常是對于不同的文本內容都能生成節奏穩定的、準確的且流利的語音話語。這種語音合成方式更適合于例如新聞朗讀、故事講述等場景。

然而，在現實生活中，人們更可能自發式地進行講話，從而人們的話語并不總是流利的。特別是在對話場景中，人們講述的話語經常包括由類似于“嗯(um)”、“啊(uh)”等詞語導致的停頓，或者包括詞語重復，例如“我，我認為”等。對于不同熟悉程度的話題，人們的話語也會表現出不同的流利度(fluency)。例如，對于熟悉的話題，人們講話的速度通常更快，話語中較少出現停頓，或者話語中的停頓時間較短。當人們在談論不熟悉的話題時，或者當人們在講話中進行思考或對某些講述內容不確定時，人們的話語中經常出現停頓、詞語重復等。這種自發式地講述的話語也可以被稱為自發式語音。通常，當一個人產生自發式語音時，其可能并沒有預先計劃將要講述什么內容，或者僅僅是直接地講述出頭腦中出現的內容。自發式語音一般會表現出流利度的多樣性。由傳統的TTS系統所合成的語音更像是非自發式語音，例如，以固定的流利度、機械地讀出輸入文本中的內容。