[發(fā)明專利]語音合成模型訓練方法、語音合成方法、裝置及電子設備

在審

• 申請?zhí)枺?/td>: 202011266576.4
• 申請日: 2020-11-13
• 公開（公告）號: CN112509550A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設計）人: 郭俊龍;賴勇銓;賀亞運;李美玲
• 申請（專利權）人: 中信銀行股份有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08;G10L17/00;G10L25/30
• 代理公司: 北京市蘭臺律師事務所 11354
• 代理人: 李浩;張峰

1.一種語音合成模型訓練方法，其特征在于，包括：

獲取第一訓練語音樣本、所述第一訓練語音樣本對應的文本、所述第一訓練語音樣本對應的說話人的標識；

確定所述第一訓練語音樣本對應的文本對應的第一文本向量，以及確定所述第一訓練語音樣本對應的說話人的標識對應的第一說話人向量；

基于所述第一文本向量與所述第一說話人向量確定第一拼接向量；

將所述第一拼接向量輸入至預設的語音合成模型生成第一梅爾聲譜圖；

基于所述第一訓練語音樣本與生成的所述第一梅爾聲譜圖確定第一損失值，并基于確定的所述第一損失值判定所述預設的語音合成模型是否收斂；

如果所述預設的語音合成模型收斂，則得到訓練成功的語音合成模型。

2.根據(jù)權利要求1所述的方法，其特征在于，該方法還包括：

如果所述預設的語音合成模型不收斂，則基于所述損失值進行梯度下降調(diào)整所述預設的語音合成模型的參數(shù)，得到調(diào)整后的語音合成模型；

獲取第二訓練語音樣本、所述第二訓練語音樣本對應的文本、所述第二訓練語音樣本對應的說話人的標識；

確定所述第二訓練語音樣本對應的文本對應的第二文本向量，以及確定所述第二訓練語音樣本對應的說話人的標識對應的第二說話人向量；

基于所述第二文本向量與所述第二說話人向量確定第二拼接向量；

將所述第二拼接向量輸入至調(diào)整后語音合成模型生成第二梅爾聲譜圖；

基于所述第二訓練語音樣本與生成的所述第二梅爾聲譜圖確定第二損失值，并基于確定的所述第二損失值判定所述調(diào)整后語音合成模型是否收斂；

如果所述調(diào)整后的語音合成模型收斂，則得到訓練成功的語音合成模型。

3.根據(jù)權利要求1或2所述的方法，其特征在于，確定所述第一訓練語音樣本對應的第一文本向量，包括：

將所述第一訓練語音樣本對應的文本轉(zhuǎn)換成帶音調(diào)標識的拼音字符串；

基于預定的映射規(guī)則將拼音字符串轉(zhuǎn)換為數(shù)字字符串；

基于所述數(shù)字字符串以及預訓練的文本嵌入矩陣得到所述第一文本向量。

4.根據(jù)權利要求1或2所述的方法，其特征在于，所述確定所述第一訓練語音樣本對應的說話人的標識對應的第一說話人向量，包括：

基于所述第一訓練語音樣本對應的說話人的標識通過預訓練的說話人嵌入矩陣確定所述第一說話人向量。

5.根據(jù)權利要求1-4任一項所述的方法，其特征在于，該方法還包括：

獲取目標說話人的訓練語音樣本、所述目標說話人的訓練語音樣本對應的文本、目標說話人的標識；

確定所述目標說話人的訓練語音樣本對應的文本對應的第三文本向量，以及確定所述目標說話人的標識對應的目標說話人向量；

基于所述第三文本向量與所述目標說話人向量確定第三拼接向量；

將所述第三拼接向量輸入至訓練好的語音合成模型生成第三梅爾聲譜圖；

基于所述目標說話人的訓練語音樣本與生成的所述第三梅爾聲譜圖確定第三損失值，并基于確定的所述第三損失值確定是否需要對所述訓練成功好的語音合成模型繼續(xù)進行訓練；

如果需要繼續(xù)訓練，則基于所述目標說話人的的至少一個其他訓練語音樣本及所述其他訓練語音樣本對應的文本、目標說話人的標識進行模型訓練，直至訓練成功得到更新后的語音合成模型。

6.一種語音合成方法，其特征在于，包括：

獲取待合成語音文本、目標說話人標識；

確定所述待合成語音文本對應的第四文本向量，以及確定所述目標說話人標識對應的目標說話人向量；

基于所述第四文本向量與所述目標說話人向量確定第四拼接向量；

將所述第四拼接向量輸入至訓練成功的語音合成模型生成第四梅爾聲譜圖；

基于所述第四梅爾聲譜圖通過聲碼器生成目標合成語音。