[發明專利]語音合成方法及對應模型的訓練方法、裝置、設備與介質

在審

• 申請號: 202011253104.5
• 申請日: 2020-11-11
• 公開（公告）號: CN112365881A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 王文富;孫濤;王錫磊;張君騰;高正坤;賈磊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/10;G10L25/30
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

本申請公開了一種語音合成方法及對應模型的訓練方法、裝置、設備與介質，涉及智能語音和深度學習等人工智能技術領域。具體實現方案為：獲取待合成語音的風格信息和音色信息、以及待處理文本的內容信息；采用預先訓練的語音合成模型，基于所述風格信息、所述音色信息以及所述待處理文本的內容信息，生成所述待處理文本的聲學特征信息；基于所述待處理文本的聲學特征信息，合成所述待處理文本的語音。本申請能夠實現跨語言、跨風格、跨音色的語音合成，可以極大地豐富語音合成的多樣性，提高用戶的使用體驗度。

技術領域

本申請涉及計算機技術，尤其涉及智能語音和深度學習等人工智能技術領域，特別涉及一種語音合成方法及對應模型的訓練方法、裝置、設備與介質。

背景技術

語音合成，又稱為文語轉換(Text-to-Speech；TTS)，是指通過計算機把文本信息轉換為音質好、自然流暢度高的語音信息的過程，是智能語音交互技術的核心技術之一。

近年來隨著深度學習技術的發展以及在語音合成領域的廣泛應用，語音合成的音質以及自然流暢度都得到了前所未有的提升。當前主流的語音合成模型主要用于實現單一發音人(即單一音色)、單一風格的語音合成。而若要實現多風格、多音色合成，可以采集每個發音人錄制的多種風格的訓練數據，對語音合成模型進行訓練。

發明內容

本申請提供了一種語音合成方法及對應模型的訓練方法、裝置、設備與介質。

根據本申請的一方面，提供了一種語音合成方法，其中，所述方法包括：

獲取待合成語音的風格信息和音色信息、以及待處理文本的內容信息；

采用預先訓練的語音合成模型，基于所述風格信息、所述音色信息以及所述待處理文本的內容信息，生成所述待處理文本的聲學特征信息；

基于所述待處理文本的聲學特征信息，合成所述待處理文本的語音。

根據本申請的另一方面，提供了一種語音合成模型的訓練方法，其中，所述方法包括：

采集數條訓練數據，各所述訓練數據中包括待合成語音的訓練風格信息、訓練音色信息、訓練文本的內容信息、以及采用所述訓練風格信息對應的訓練風格描述所述訓練文本的內容信息的風格特征信息、和采用所述訓練風格信息對應的訓練風格和所述訓練音色信息對應的訓練音色描述所述訓練文本的內容信息的目標聲學特征信息；

采用所述數條訓練數據，對所述語音合成模型進行訓練。

根據本申請的再一方面，提供了一種語音合成裝置，其中所述裝置包括：

獲取模塊，用于獲取待合成語音的風格信息和音色信息、以及待處理文本的內容信息；

生成模塊，用于采用預先訓練的語音合成模型，基于所述風格信息、所述音色信息以及所述待處理文本的內容信息，生成所述待處理文本的聲學特征信息；

合成模塊，用于基于所述待處理文本的聲學特征信息，合成所述待處理文本的語音。

根據本申請的又一方面，提供了一種語音合成模型的訓練裝置，其中，所述裝置包括：

采集模塊，用于采集數條訓練數據，各所述訓練數據中包括待合成語音的訓練風格信息、訓練音色信息、訓練文本的內容信息、以及采用所述訓練風格信息對應的訓練風格描述所述訓練文本的內容信息的風格特征信息、和采用所述訓練風格信息對應的訓練風格和所述訓練音色信息對應的訓練音色描述所述訓練文本的內容信息的目標聲學特征信息；

訓練模塊，用于采用所述數條訓練數據，對所述語音合成模型進行訓練。

根據本申請的再另一方面，提供了一種電子設備，包括：

至少一個處理器；以及