[發(fā)明專利]語(yǔ)音合成模型訓(xùn)練方法、語(yǔ)音合成方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011266576.4
• 申請(qǐng)日: 2020-11-13
• 公開(kāi)（公告）號(hào): CN112509550A
• 公開(kāi)（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 郭俊龍;賴勇銓;賀亞運(yùn);李美玲
• 申請(qǐng)（專利權(quán)）人: 中信銀行股份有限公司
• 主分類號(hào): G10L13/02
• 分類號(hào): G10L13/02;G10L13/08;G10L17/00;G10L25/30
• 代理公司: 北京市蘭臺(tái)律師事務(wù)所 11354
• 代理人: 李浩;張峰

1.一種語(yǔ)音合成模型訓(xùn)練方法，其特征在于，包括：

獲取第一訓(xùn)練語(yǔ)音樣本、所述第一訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的文本、所述第一訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的說(shuō)話人的標(biāo)識(shí)；

確定所述第一訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的文本對(duì)應(yīng)的第一文本向量，以及確定所述第一訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的說(shuō)話人的標(biāo)識(shí)對(duì)應(yīng)的第一說(shuō)話人向量；

基于所述第一文本向量與所述第一說(shuō)話人向量確定第一拼接向量；

將所述第一拼接向量輸入至預(yù)設(shè)的語(yǔ)音合成模型生成第一梅爾聲譜圖；

基于所述第一訓(xùn)練語(yǔ)音樣本與生成的所述第一梅爾聲譜圖確定第一損失值，并基于確定的所述第一損失值判定所述預(yù)設(shè)的語(yǔ)音合成模型是否收斂；

如果所述預(yù)設(shè)的語(yǔ)音合成模型收斂，則得到訓(xùn)練成功的語(yǔ)音合成模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，該方法還包括：

如果所述預(yù)設(shè)的語(yǔ)音合成模型不收斂，則基于所述損失值進(jìn)行梯度下降調(diào)整所述預(yù)設(shè)的語(yǔ)音合成模型的參數(shù)，得到調(diào)整后的語(yǔ)音合成模型；

獲取第二訓(xùn)練語(yǔ)音樣本、所述第二訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的文本、所述第二訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的說(shuō)話人的標(biāo)識(shí)；

確定所述第二訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的文本對(duì)應(yīng)的第二文本向量，以及確定所述第二訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的說(shuō)話人的標(biāo)識(shí)對(duì)應(yīng)的第二說(shuō)話人向量；

基于所述第二文本向量與所述第二說(shuō)話人向量確定第二拼接向量；

將所述第二拼接向量輸入至調(diào)整后語(yǔ)音合成模型生成第二梅爾聲譜圖；

基于所述第二訓(xùn)練語(yǔ)音樣本與生成的所述第二梅爾聲譜圖確定第二損失值，并基于確定的所述第二損失值判定所述調(diào)整后語(yǔ)音合成模型是否收斂；

如果所述調(diào)整后的語(yǔ)音合成模型收斂，則得到訓(xùn)練成功的語(yǔ)音合成模型。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，確定所述第一訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的第一文本向量，包括：

將所述第一訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的文本轉(zhuǎn)換成帶音調(diào)標(biāo)識(shí)的拼音字符串；

基于預(yù)定的映射規(guī)則將拼音字符串轉(zhuǎn)換為數(shù)字字符串；

基于所述數(shù)字字符串以及預(yù)訓(xùn)練的文本嵌入矩陣得到所述第一文本向量。

4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述確定所述第一訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的說(shuō)話人的標(biāo)識(shí)對(duì)應(yīng)的第一說(shuō)話人向量，包括：

基于所述第一訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的說(shuō)話人的標(biāo)識(shí)通過(guò)預(yù)訓(xùn)練的說(shuō)話人嵌入矩陣確定所述第一說(shuō)話人向量。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，該方法還包括：

獲取目標(biāo)說(shuō)話人的訓(xùn)練語(yǔ)音樣本、所述目標(biāo)說(shuō)話人的訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的文本、目標(biāo)說(shuō)話人的標(biāo)識(shí)；

確定所述目標(biāo)說(shuō)話人的訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的文本對(duì)應(yīng)的第三文本向量，以及確定所述目標(biāo)說(shuō)話人的標(biāo)識(shí)對(duì)應(yīng)的目標(biāo)說(shuō)話人向量；

基于所述第三文本向量與所述目標(biāo)說(shuō)話人向量確定第三拼接向量；

將所述第三拼接向量輸入至訓(xùn)練好的語(yǔ)音合成模型生成第三梅爾聲譜圖；

基于所述目標(biāo)說(shuō)話人的訓(xùn)練語(yǔ)音樣本與生成的所述第三梅爾聲譜圖確定第三損失值，并基于確定的所述第三損失值確定是否需要對(duì)所述訓(xùn)練成功好的語(yǔ)音合成模型繼續(xù)進(jìn)行訓(xùn)練；

如果需要繼續(xù)訓(xùn)練，則基于所述目標(biāo)說(shuō)話人的的至少一個(gè)其他訓(xùn)練語(yǔ)音樣本及所述其他訓(xùn)練語(yǔ)音樣本對(duì)應(yīng)的文本、目標(biāo)說(shuō)話人的標(biāo)識(shí)進(jìn)行模型訓(xùn)練，直至訓(xùn)練成功得到更新后的語(yǔ)音合成模型。

6.一種語(yǔ)音合成方法，其特征在于，包括：

獲取待合成語(yǔ)音文本、目標(biāo)說(shuō)話人標(biāo)識(shí)；

確定所述待合成語(yǔ)音文本對(duì)應(yīng)的第四文本向量，以及確定所述目標(biāo)說(shuō)話人標(biāo)識(shí)對(duì)應(yīng)的目標(biāo)說(shuō)話人向量；

基于所述第四文本向量與所述目標(biāo)說(shuō)話人向量確定第四拼接向量；

將所述第四拼接向量輸入至訓(xùn)練成功的語(yǔ)音合成模型生成第四梅爾聲譜圖；

基于所述第四梅爾聲譜圖通過(guò)聲碼器生成目標(biāo)合成語(yǔ)音。