[發明專利]語音合成模型訓練和語音合成方法、裝置、設備及介質

在審

• 申請號: 202011549430.0
• 申請日: 2020-12-24
• 公開（公告）號: CN112634866A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 張大成;劉歡
• 申請（專利權）人: 北京獵戶星空科技有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/047
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張燕

本發明公開了一種語音合成模型訓練和語音合成方法、裝置、設備及介質。由于樣本集中的任一第一語音樣本對應的文本特征，均是根據預先配置的第一語言的語音單元集合與第二語言的語音單元集合的對應關系確定的，從而實現了將第一語音樣本轉換為第二語言的語音樣本，增加了第二語言的語音樣本的數量，后續基于樣本集中的第一語音樣本對應的文本特征樣本和第一語音樣本的第一聲學特征，即可對原始語音合成模型進行訓練，從而獲取到第二語言對應的目標語音合成模型，從而實現無需大量的采集第二語言的語音樣本，即可獲取到第二語言的目標語音合成模型。

技術領域

本發明涉及語音處理技術領域，尤其涉及一種語音合成模型訓練和語音合成方法、裝置、設備及介質。

背景技術

隨著文本轉語音(Text to Speech，TTS)技術的發展，越來越多的領域采用該種技術，以提高用戶的體驗。比如，通過預先設置智能設備上語音助手對某一問題的回答內容，以使后續用戶在請求語音助手回答該問題時，即可輸出語音形式的回答內容。現有技術中，可以通過預先訓練完成的語音合成模型，生成文本信息對應的聲學特征。后續基于該聲學特征，進行相應的處理，從而得到文本信息對應的語音信息。如果希望可以將任一文本信息轉化成自然、準確的語音信息，則需要基于大量的預先標記好的語音樣本，對該語音合成模型進行訓練，以提高該語音合成模型輸出文本信息對應的聲學特征的準確度。而近幾年來，為了進一步提高用戶的體驗，并可以為用戶提供個性化的服務，如何將文本信息轉化成語音為方言的語音信息成為人們日益關注的問題。

為了可以將任一文本信息轉化成自然、準確的語音為方言的語音信息，基于現有技術中的方法，需要預先采集大量的后，基于語音為某一方言的語音樣本，對原始語音合成模型進行訓練，后續才能根據文本信息的文本特征以及訓練完成的語音合成模型獲取到可以準確預測該方言的語音信息的聲學特征。由于一般需要預先采集3萬句以上、或者30小時以上的該方言的語音樣本，才能保證該語音合成模型的準確性，導致獲取到用于訓練該方言的語音合成模型的語音樣本的難度以及所耗費的成本都非常的大。

發明內容

本發明實施例提供了一種模型訓練和語音合成方法、裝置、設備及介質，用以解決現有獲取到可以預測方言的語音信息的聲學特征的語音合成模型的難度、以及所耗費的成本非常大的問題。

本發明實施例提供了一種語音合成模型訓練方法，所述方法包括：

獲取包含至少一個第一語音樣本的樣本集，所述第一語音樣本為采用第一語言的語音樣本，所述第一語音樣本對應的文本特征樣本是根據預先配置的第一語言的語音單元集合與第二語言的語音單元集合的對應關系確定的；

基于所述樣本集中的第一語音樣本對應的文本特征樣本和所述第一語音樣本的第一聲學特征，對原始語音合成模型進行訓練，以獲取所述第二語言對應的目標語音合成模型。

本發明實施例提供了一種語音合成模型訓練方法，所述方法包括：

獲取包含至少一個語音樣本的樣本集，所述語音樣本包括采用第一語言的第一語音樣本和采用第二語言的第二語言樣本；

基于所述樣本集中的第一語音樣本對應的第一文本特征和所述第一語音樣本的第一聲學特征，以及所述樣本集中的第二語音樣本對應的第二文本特征和所述第二語音樣本的第二聲學特征，對所述原始語音合成模型進行訓練，得到基礎語音合成模型；其中，所述第一文本特征是基于所述第一語言的語音單元集合確定的，所述第二文本特征是基于所述第二語言的語音單元集合確定的；

基于所述第二語音樣本對應的第二文本特征和所述第二語音樣本的第二聲學特征，對所述基礎語音合成模型進行訓練，得到目標語音合成模型。

本發明實施例提供了一種基于上述任一語音合成模型訓練方法獲取到的目標語音合成模型的語音合成方法，所述方法包括：

獲取文本信息的文本特征，所述文本特征是基于所述第二語言的語音單元集合確定的；