[發(fā)明專利]語(yǔ)音合成模型的訓(xùn)練方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111137350.9
• 申請(qǐng)日: 2021-09-27
• 公開(kāi)（公告）號(hào): CN113870837A
• 公開(kāi)（公告）日: 2021-12-31
• 發(fā)明（設(shè)計(jì)）人: 郭洋;王健宗
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G10L13/08
• 分類號(hào): G10L13/08;G10L13/02;G10L25/27
• 代理公司: 深圳市力道知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44507
• 代理人: 張傳義

1.一種自定義語(yǔ)音合成模型的訓(xùn)練方法，其特征在于，所述方法包括：

加載待訓(xùn)練語(yǔ)音合成模型，并獲取進(jìn)行訓(xùn)練的初始數(shù)據(jù)，其中，所述初始數(shù)據(jù)包括文本信息以及標(biāo)準(zhǔn)音頻信息，且所述文本信息與所述標(biāo)準(zhǔn)音頻信息一一對(duì)應(yīng)；

根據(jù)所述文本信息，得到所述初始數(shù)據(jù)對(duì)應(yīng)的音素隱性特征向量和音素差異向量；

根據(jù)所述標(biāo)準(zhǔn)音頻信息、音素隱性特征向量以及音素差異向量，對(duì)所述待訓(xùn)練語(yǔ)音合成模型進(jìn)行訓(xùn)練，得到基礎(chǔ)模型；

接收模型微調(diào)數(shù)據(jù)，并基于所述模型微調(diào)數(shù)據(jù)對(duì)所述基礎(chǔ)模型進(jìn)行微調(diào)，得到訓(xùn)練好的語(yǔ)音合成模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待訓(xùn)練語(yǔ)音合成模型包括音素編碼器以及差異適配器，所述根據(jù)所述文本信息，得到所述初始數(shù)據(jù)對(duì)應(yīng)的音素隱性特征向量和音素差異向量，包括：

獲取所述初始數(shù)據(jù)包含的文本信息，并對(duì)所述文本信息進(jìn)行音素提取，得到每一文本信息對(duì)應(yīng)的音素序列；

將所述音素序列輸入至所述音素編碼器中，得到音素隱性特征向量；

將所述音素隱性特征向量輸入至所述差異適配器中，得到音素差異向量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述標(biāo)準(zhǔn)音頻信息、音素隱性特征向量以及音素差異向量，對(duì)所述待訓(xùn)練語(yǔ)音合成模型進(jìn)行訓(xùn)練，得到基礎(chǔ)模型，包括：

以文本信息為一組別，將所述因素隱性特征向量與所述音素差異向量進(jìn)行拼接，得到每一文本信息對(duì)應(yīng)的特征向量；

根據(jù)所述特征向量以及所述標(biāo)準(zhǔn)音頻信息，對(duì)所述待訓(xùn)練語(yǔ)音合成模型進(jìn)行訓(xùn)練，并確定訓(xùn)練后的所述待訓(xùn)練語(yǔ)音合成模型是否收斂；

當(dāng)確定所述待訓(xùn)練語(yǔ)音合成模型收斂時(shí)，得到基礎(chǔ)模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述待訓(xùn)練語(yǔ)音合成模型還包括梅爾譜解碼器以及聲碼器，所述根據(jù)所述特征向量以及所述初始數(shù)據(jù)包含的標(biāo)準(zhǔn)音頻信息，對(duì)所述待訓(xùn)練語(yǔ)音合成模型進(jìn)行訓(xùn)練，并確定訓(xùn)練后的所述待訓(xùn)練語(yǔ)音合成模型是否收斂，包括：

將所述特征向量輸入至所述梅爾譜解碼器中，得到每一特征向量對(duì)應(yīng)的梅爾譜序列；

利用所述聲碼器對(duì)所述梅爾譜序列進(jìn)行處理，得到每一梅爾譜序列對(duì)應(yīng)的音頻信息；

根據(jù)所述音頻信息以及所述初始數(shù)據(jù)包含的每一文本對(duì)應(yīng)的標(biāo)準(zhǔn)音頻信息，確定所述待訓(xùn)練語(yǔ)音合成模型是否訓(xùn)練完成。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述確定所述待訓(xùn)練語(yǔ)音合成模型是否訓(xùn)練完成，包括：

根據(jù)所述音頻信息以及所述標(biāo)準(zhǔn)音頻信息，確定所述待訓(xùn)練語(yǔ)音合成模型的損失函數(shù)值；

獲取預(yù)設(shè)的損失閾值，并根據(jù)所述損失函數(shù)值以及所述損失閾值確定所述待訓(xùn)練語(yǔ)音合成模型是否收斂；其中，

若所述損失函數(shù)值小于所述損失閾值，則確定所述待訓(xùn)練語(yǔ)音合成模型收斂；

若所述損失函數(shù)值大于或者等于所述損失閾值，則確定所述待訓(xùn)練語(yǔ)音合成模型未收斂。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述接收模型微調(diào)數(shù)據(jù)，并基于所述模型微調(diào)數(shù)據(jù)對(duì)所述基礎(chǔ)模型進(jìn)行微調(diào)，得到訓(xùn)練好的語(yǔ)音合成模型，包括：

接收輸入的模型微調(diào)數(shù)據(jù)，并對(duì)所述模型微調(diào)數(shù)據(jù)進(jìn)行預(yù)處理，以得到模型微調(diào)向量；

將所述模型微調(diào)向量輸入至所述基礎(chǔ)模型中進(jìn)行訓(xùn)練，并在確定訓(xùn)練后的基礎(chǔ)模型收斂時(shí)得到訓(xùn)練好的語(yǔ)音合成模型。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述接收輸入的模型微調(diào)數(shù)據(jù)，并對(duì)所述模型微調(diào)數(shù)據(jù)進(jìn)行預(yù)處理，以得到模型微調(diào)向量，包括：

識(shí)別所述模型微調(diào)數(shù)據(jù)中所包含的標(biāo)識(shí)信息，并將所述標(biāo)識(shí)信息轉(zhuǎn)化為對(duì)應(yīng)的標(biāo)識(shí)向量；

對(duì)所述模型微調(diào)數(shù)據(jù)進(jìn)行處理，得到所述模型微調(diào)數(shù)據(jù)對(duì)應(yīng)的微調(diào)音素隱性特征向量和微調(diào)音素差異向量；

將所述標(biāo)識(shí)向量、微調(diào)音素隱性特征向量以及微調(diào)音素差異向量進(jìn)行拼接，得到模型微調(diào)向量。