[發明專利]一種語音合成方法、裝置和用于語音合成的裝置

在審

• 申請號: 202110657200.4
• 申請日: 2021-06-11
• 公開（公告）號: CN113409765A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 王睿敏;孟凡博;劉愷;陳偉
• 申請（專利權）人: 北京搜狗科技發展有限公司
• 主分類號: G10L13/047
• 分類號: G10L13/047;G10L13/08;G10L25/18;G10L25/30;G10L19/04
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

本發明實施例提供了一種語音合成方法、裝置和用于語音合成的裝置。其中的方法包括：獲取音頻訓練數據，音頻訓練數據包括不同音色特征以及不同情感特征的音頻數據；根據音頻訓練數據訓練語音合成模型，所述語音合成模型包括不同音色特征的音頻訓練數據訓練得到的音色模型參數，以及不同情感特征的音頻訓練數據訓練得到的韻律模型參數；將待合成的文本數據、至少一個說話人標識、以及情感標識輸入語音合成模型，通過語音合成模型輸出語音合成數據，語音合成數據包含說話人標識對應的音色特征以及情感標識對應的情感特征。本發明實施例可以合成不同音色特征以及不同情感特征組合的目標音頻，可以擴展語音合成模型的適用范圍。

技術領域

本發明涉及語音處理技術領域，尤其涉及一種語音合成方法、裝置和用于語音合成的裝置。

背景技術

隨著深度學習的發展，語音合成技術進入到端到端的發展階段。端到端的語音合成模型能夠基于輸入的文本，直接輸出與該文本對應的語音。

語音合成技術廣泛應用在智能問答、語音播報、有聲讀物、虛擬主播等場景中。端到端的語音合成技術合成的語音情感較為單一，在某些場景下，需要合成同一個說話人不同情感的語音。這就需要針對每個說話人，分別使用每個說話人錄制的不同情感的語音作為訓練數據，分別生成用于合成一個說話人的單一情感的語音合成模型，不僅訓練開銷大，而且語音合成模型僅可以生成單一情感的語音，導致語音合成模型的適用范圍較為局限。

發明內容

本發明實施例提供一種語音合成方法、裝置和用于語音合成的裝置，可以合成不同音色特征以及不同情感特征組合的目標音頻，可以擴展語音合成模型的適用范圍，并且降低對訓練數據的要求以及降低訓練數據的采集成本。

為了解決上述問題，本發明實施例公開了一種語音合成方法，所述方法包括：

獲取音頻訓練數據，所述音頻訓練數據包括不同音色特征以及不同情感特征的音頻數據；

根據所述音頻訓練數據訓練語音合成模型，所述語音合成模型包括不同音色特征的音頻訓練數據訓練得到的音色模型參數，以及不同情感特征的音頻訓練數據訓練得到的韻律模型參數；

將待合成的文本數據、至少一個說話人標識、以及情感標識輸入所述語音合成模型，通過所述語音合成模型輸出語音合成數據，所述語音合成數據包含所述說話人標識對應的音色特征以及所述情感標識對應的情感特征。

可選地，所述根據所述音頻訓練數據訓練語音合成模型，包括：

從所述音頻訓練數據中提取韻律特征；

將提取的韻律特征輸入解碼器，訓練語音合成模型，所述語音合成模型包括編碼器參數、韻律提取參數、音色模型參數、韻律模型參數；

從所述音頻訓練數據中分別選取單一音色特征的音頻數據，并固定所述語音合成模型中的編碼器參數和韻律提取參數不變，分別訓練不同音色特征對應的音色模型參數；

從所述音頻訓練數據中分別選取單一音色特征以及單一情感特征的音頻數據，并固定所述語音合成模型中的編碼器參數和韻律提取參數不變，分別訓練不同情感特征的韻律模型參數。

可選地，所述從所述音頻訓練數據中提取韻律特征，包括：

從所述音頻訓練數據中提取聲學特征；

從提取的聲學特征中提取層級變分自動編碼器向量；

所述將提取的韻律特征輸入解碼器，訓練語音合成模型，包括：

將提取的層級變分自動編碼器向量作為韻律特征輸入解碼器，基于提取的聲學特征訓練語音合成模型。

可選地，所述通過所述語音合成模型輸出語音合成數據，包括：