[發明專利]語音合成方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011364707.2
• 申請日: 2020-11-27
• 公開（公告）號: CN112365877A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 李靖怡;孫濤;王文富;王錫磊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/10;G10L19/16
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

1.一種語音合成方法，包括：

獲取多風格音庫；其中，所述多風格音庫中存有多種語音風格對應音頻的第一參考聲學特征，每種所述參考聲學特征是對相應語音風格的語音進行聲學特征提取得到；

獲取目標音色對應音頻的第二參考聲學特征；

根據所述多風格音庫中選定的目標語音風格對應音頻的第一參考聲學特征，和所述目標音色對應音頻的第二參考聲學特征，對待合成的目標文本進行語音合成。

2.根據權利要求1所述的語音合成方法，其中，所述根據所述多風格音庫中選定的目標語音風格對應音頻的第一參考聲學特征，和所述目標音色對應音頻的第二參考聲學特征，對待合成的目標文本進行語音合成，包括：

將所述目標語音風格對應音頻的第一參考聲學特征、所述目標音色對應音頻的第二參考聲學特征和所述目標文本，輸入經過訓練的語音合成模型，以得到所述語音合成模型輸出的目標語音。

3.根據權利要求2所述的語音合成方法，其中，所述語音合成模型，包括：

風格編碼器，用于輸入所述第一參考聲學特征和所述目標文本，以得到所述目標文本的風格編碼；

音色編碼器，用于輸入所述第二參考聲學特征以得到音色編碼；

文本編碼器，用于輸入所述目標文本以得到文本編碼；

解碼器，用于輸入所述風格編碼、所述音色編碼和所述文本編碼，以得到目標聲學特征；

聲碼器，用于輸入所述目標聲學特征以得到所述目標語音。

4.根據權利要求3所述的語音合成方法，其中，所述根據所述多風格音庫中選定的目標語音風格對應音頻的第一參考聲學特征，和所述目標音色對應音頻的第二參考聲學特征，對待合成的目標文本進行語音合成之前，還包括：

獲取訓練樣本，其中，所述訓練樣本中包含訓練語音，所述訓練語音標注有對應文本和所述訓練語音的聲學特征；

將所述訓練樣本標注的文本和聲學特征輸入風格提取器，得到所述風格提取器輸出的所述訓練語音的標準風格編碼；

將所述訓練樣本標注的文本和聲學特征輸入所述風格編碼器，得到所述風格編碼器輸出的風格編碼；

根據所述風格編碼器輸出的風格編碼和所述標準風格編碼之間的差異，調整所述風格編碼器的模型參數，以使所述風格編碼器輸出的風格編碼和所述標準風格編碼之間的差異最小化。

5.根據權利要求4所述的語音合成方法，其中，所述根據所述多風格音庫中選定的目標語音風格對應音頻的第一參考聲學特征，和所述目標音色對應音頻的第二參考聲學特征，對待合成的目標文本進行語音合成之前，還包括：

將所述訓練樣本標注的文本輸入所述文本編碼器，以得到所述訓練樣本的文本編碼；

將所述訓練樣本標注的聲學特征輸入所述音色編碼器，以得到所述訓練樣本的音色編碼；

將所述訓練樣本的音色編碼、所述訓練樣本的文本編碼和所述風格編碼器輸出的風格編碼輸入所述解碼器，得到所述解碼器輸出的預測聲學特征；

根據所述預測聲學特征與所述訓練語音的聲學特征之間的差異，調整所述語音合成模型中的模型參數，以使所述預測聲學特征與所述訓練語音的聲學特征之間的差異最小化。

6.根據權利要求1-5任一項所述的語音合成方法，其中，所述獲取目標音色對應音頻的第二參考聲學特征，包括：

對所述目標音色的語音進行短時傅里葉變換，得到所述目標音色的語音的語譜圖；

對所述語譜圖通過梅爾標度濾波器組，得到所述第二參考聲學特征。

7.一種語音合成裝置，包括：

第一獲取模塊，用于獲取多風格音庫；其中，所述多風格音庫中存有多種語音風格對應音頻的第一參考聲學特征，每種所述參考聲學特征是對相應語音風格的語音進行聲學特征提取得到；

第二獲取模塊，用于獲取目標音色對應音頻的第二參考聲學特征；

合成模塊，用于根據所述多風格音庫中選定的目標語音風格對應音頻的第一參考聲學特征，和所述目標音色對應音頻的第二參考聲學特征，對待合成的目標文本進行語音合成。