[發(fā)明專利]語音合成模型訓(xùn)練和語音合成方法、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010081935.2
• 申請(qǐng)日: 2020-02-06
• 公開（公告）號(hào): CN113299272A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 曹元斌;張斌;蓋于濤
• 申請(qǐng)（專利權(quán)）人: 菜鳥智能物流控股有限公司
• 主分類號(hào): G10L13/047
• 分類號(hào): G10L13/047;G10L13/04;G10L13/08;G10L15/22
• 代理公司: 北京太合九思知識(shí)產(chǎn)權(quán)代理有限公司 11610
• 代理人: 劉戈;張愛

1.一種語音合成模型訓(xùn)練方法，其特征在于，包括：

獲取多個(gè)文本樣本；并利用第一語音合成模型，合成所述多個(gè)文本樣本對(duì)應(yīng)的多個(gè)音頻樣本；

利用所述多個(gè)文本樣本及所述多個(gè)音頻樣本進(jìn)行模型訓(xùn)練，以得到第二語音合成模型；

其中，所述第一語音合成模型可合成待合成文本中屬于設(shè)定文本的文本片段的音頻；所述第二語音合成模型可合成所述待合成文本中不屬于所述設(shè)定文本的文本片段的音頻。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用第一語音合成模型，合成所述多個(gè)文本樣本對(duì)應(yīng)的多個(gè)音頻樣本，包括：

將所述多個(gè)文本樣本輸入所述第一語音合成模型；

在所述第一語音合成模型中，對(duì)所述多個(gè)文本樣本進(jìn)行語言學(xué)特征預(yù)測，以得到所述多個(gè)文本樣本的文本特征；

根據(jù)所述多個(gè)文本樣本的文本特征，合成所述多個(gè)音頻樣本。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述多個(gè)文本樣本包括：第一文本樣本和第二文本樣本；所述多個(gè)音頻樣本包括第一文本樣本對(duì)應(yīng)的第一音頻樣本和第二文本樣本對(duì)應(yīng)的第二音頻樣本；

所述利用所述多個(gè)文本樣本及所述多個(gè)音頻樣本進(jìn)行模型訓(xùn)練，以得到第二語音合成模型，包括：

對(duì)所述第二音頻樣本進(jìn)行聲學(xué)分析，得到所述第二音頻樣本的聲學(xué)特征；

利用所述第二音頻樣本及其聲學(xué)特征，構(gòu)建所述第二語音合成模型中的音頻庫；

利用所述第一文本樣本的文本特征、所述第一音頻樣本以及所述音頻庫進(jìn)行模型訓(xùn)練，得到所述第二語音合成模型中的參數(shù)合成模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用所述第一樣本的文本特征、所述第一音頻樣本以及所述音頻庫進(jìn)行模型訓(xùn)練，得到所述第二語音合成模型中的參數(shù)合成模型，包括：

對(duì)所述第一音頻樣本進(jìn)行音素切分，以得到所述第一音頻樣本的音素切分信息；

將所述第一文本樣本的文本特征與所述音素切分信息進(jìn)行時(shí)間對(duì)齊，得到所述第一文本樣本的對(duì)齊后的文本特征；

利用所述對(duì)齊后的文本特征、所述第一音頻樣本以及所述音頻庫進(jìn)行模型訓(xùn)練，以得到所述參數(shù)合成模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述利用所述對(duì)齊后的文本特征、所述第一音頻樣本以及所述音頻庫進(jìn)行模型訓(xùn)練，包括：

以第一損失函數(shù)最小化為訓(xùn)練目標(biāo)，利用所述對(duì)齊后的文本特征和所述音頻庫進(jìn)行模型訓(xùn)練，得到所述參數(shù)合成模型；

所述第一損失函數(shù)是根據(jù)參數(shù)合成模型訓(xùn)練得到的音頻與所述第一音頻樣本確定的。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述參數(shù)合成模型包括：聲學(xué)特征提取層和拼接層；在對(duì)參數(shù)合成模型進(jìn)行訓(xùn)練時(shí)，包括：

將所述對(duì)齊后的文本特征輸入處于訓(xùn)練階段的聲學(xué)特征提取層，得到所述第一文本樣本的第一聲學(xué)特征；并將所述第一聲學(xué)特征輸入所述拼接層；

在所述拼接層，利用所述第一聲學(xué)特征在所述音頻庫中進(jìn)行索引，以得到所述參數(shù)合成模型訓(xùn)練得到的音頻。

7.根據(jù)權(quán)利要求3所述的方法，其特征在于，在進(jìn)行參數(shù)合成模型訓(xùn)練時(shí)，還包括：

計(jì)算所述參數(shù)合成模型訓(xùn)練得到的音頻與所述第一音頻樣本之間的相似性；

若計(jì)算出的相似性不滿足設(shè)定的相似條件，則替換新的文本樣本作為所述第一文本樣本，并重復(fù)執(zhí)行參數(shù)合成模型訓(xùn)練過程，直至所述參數(shù)合成模型訓(xùn)練得到的音頻與所述第一音頻樣本之間的相似性滿足所述設(shè)定的相似條件；

其中，所述新的文本樣本的數(shù)據(jù)量大于所述第一文本樣本的數(shù)據(jù)量，和/或，所述新的文本樣本的數(shù)據(jù)分布與所述第一文本樣本的數(shù)據(jù)分布不同。

8.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述多個(gè)文本樣本的文本特征，合成所述多個(gè)音頻樣本，包括：

對(duì)所述多個(gè)文本樣本的文本特征進(jìn)行聲學(xué)分析，得到所述多個(gè)文本樣本的第二聲學(xué)特征；

根據(jù)所述多個(gè)文本樣本的第二聲學(xué)特征，合成所述多個(gè)音頻樣本。