[發明專利]韻律預測方法、訓練方法、裝置、電子設備和介質

有效

• 申請號: 202011340106.8
• 申請日: 2020-11-25
• 公開（公告）號: CN112397050B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 聶志朋;高占杰;陳昌濱
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L13/10
• 分類號: G10L13/10;G10L13/08;G10L25/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

本申請公開了一種韻律預測方法、訓練方法、裝置、電子設備和介質，涉及語音合成、自然語言處理NLP、深度學習領域。實現方案為：獲取包含第一語言的文本片段和第二語言的文本片段的混合文本；分別對第一語言的文本片段和第二語言的文本片段中各字符編碼，得到各第一字符向量及各第二字對符向量；根據各字符在混合文本中的語序對第一字符向量和第二字符向量排序，得到向量序列；將向量序列輸入經過訓練的韻律預測模型，得到第一字符向量和第二字符向量切換位置處的過渡韻律；將過渡韻律拼接在第一語言的文本片段對應的韻律和第二語言的文本片段對應的韻律之間，以得到混合文本的韻律。由此，可以改善混合文本語音合成的韻律效果。

技術領域

本申請涉及語音合成、NLP(Natural?Language?Processing，自然語言處理)、深度學習等AI(Artificial?Intelligence，人工智能)技術領域，具體地，本申請提供了一種韻律預測方法、訓練方法、裝置、電子設備和介質。

背景技術

語音合成技術，又稱TTS(Text?to?Speech，文語轉換)技術，能夠將任意文字信息實時轉化為標準且流暢的語音朗讀出來。語音合成的一個關鍵步驟是韻律預測，韻律預測又可以細分為韻律層級預測、時長預測和音高預測等，韻律層級在TTS中直接影響合成語音的自然度和流暢度。

隨著世界經濟的快速發展、國際文化交流的日益頻繁，以及互聯網技術的高速發展，全球信息化程度迅速提高，在一個語言的文本中經常會出現其他語言的文本，上述文本稱為混語文本或混合文本。如何對混合文本的韻律進行預測至關重要。

發明內容

本申請提供了一種用于韻律預測方法、訓練方法、裝置、電子設備和介質。

根據本申請的一方面，提供了一種韻律預測方法，包括：

獲取混合文本；其中，所述混合文本中包含第一語言的文本片段，和包含第二語言的文本片段；

對所述第一語言的文本片段中各字符編碼得到對應的第一字符向量，對所述第二語言的文本片段中各所述字符編碼得到對應的第二字符向量；

根據各所述字符在所述混合文本中的語序，對所述第一字符向量和所述第二字符向量排序，得到向量序列；

將所述向量序列輸入經過訓練的韻律預測模型，得到所述第一字符向量和所述第二字符向量切換位置處的過渡韻律；

將所述過渡韻律拼接在所述第一語言的文本片段對應的韻律和所述第二語言的文本片段對應的韻律之間，以得到所述混合文本的韻律。

根據本申請的另一方面，提供了一種韻律預測模型的訓練方法，所述韻律預測模型應用于如前述實施例所述韻律預測方法，所述訓練方法包括：

獲取訓練樣本，其中，所述訓練樣本包括參考文本和韻律標注，所述參考文本包括第一語言的文本片段和第二語言的文本片段，所述韻律標注，用于表征所述參考文本中所述第一語言的文本片段和所述第二語言的文本片段之間的過渡韻律；

采用所述訓練樣本，對所述韻律預測模型進行訓練，以使韻律預測模型輸出得到的韻律與所述韻律標注之間的差異最小化。

根據本申請的又一方面，提供了一種韻律預測裝置，包括：

獲取模塊，用于獲取混合文本；其中，所述混合文本中包含第一語言的文本片段，和包含第二語言的文本片段；

編碼模塊，用于對所述第一語言的文本片段中各字符編碼得到對應的第一字符向量，對所述第二語言的文本片段中各所述字符編碼得到對應的第二字符向量；

排序模塊，用于根據各所述字符在所述混合文本中的語序，對所述第一字符向量和所述第二字符向量排序，得到向量序列；