[發(fā)明專利]語音合成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110607789.7
• 申請(qǐng)日: 2021-06-01
• 公開（公告）號(hào): CN113345415A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 張旭龍;王健宗
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G10L13/08
• 分類號(hào): G10L13/08;G10L25/30;G10L25/18
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 姚維

1.一種語音合成方法，其特征在于，所述語音合成方法包括：

獲取初始文本，對(duì)所述初始文本進(jìn)行預(yù)處理，得到預(yù)處理文本，調(diào)用預(yù)置的字素轉(zhuǎn)音素模型和預(yù)置的映射詞典，對(duì)所述預(yù)處理文本進(jìn)行轉(zhuǎn)換，得到音節(jié)序列；

獲取訓(xùn)練文本，基于所述訓(xùn)練文本和預(yù)置的模型無關(guān)元學(xué)習(xí)算法，對(duì)預(yù)置的聲學(xué)模型進(jìn)行優(yōu)化，得到優(yōu)化后的聲學(xué)模型，所述預(yù)置的聲學(xué)模型為神經(jīng)網(wǎng)絡(luò)語音合成模型；

調(diào)用所述優(yōu)化后的聲學(xué)模型，對(duì)所述音節(jié)序列進(jìn)行編碼處理和解碼處理，得到梅爾頻譜序列；

通過預(yù)置的聲碼器，對(duì)所述梅爾頻譜序列進(jìn)行頻譜分析，得到目標(biāo)語音。

2.根據(jù)權(quán)利要求1所述的語音合成方法，其特征在于，所述獲取初始文本，對(duì)所述初始文本進(jìn)行預(yù)處理，得到預(yù)處理文本，調(diào)用預(yù)置的字素轉(zhuǎn)音素模型和預(yù)置的映射詞典，對(duì)所述預(yù)處理文本進(jìn)行轉(zhuǎn)換，得到音節(jié)序列包括：

獲取初始文本，對(duì)所述初始文本進(jìn)行缺失值補(bǔ)全、異常值過濾和重復(fù)值過濾，得到預(yù)處理文本；

調(diào)用預(yù)置的文本分詞工具，對(duì)所述預(yù)處理文本進(jìn)行分詞處理，得到分詞文本；

通過預(yù)置的字素轉(zhuǎn)音素模型和預(yù)置的映射詞典，對(duì)所述分詞文本進(jìn)行映射轉(zhuǎn)換，得到音節(jié)序列，所述音節(jié)序列包括聲母序列、韻母序列和所述韻母序列對(duì)應(yīng)的聲調(diào)。

3.根據(jù)權(quán)利要求1所述的語音合成方法，其特征在于，所述獲取訓(xùn)練文本，基于所述訓(xùn)練文本和預(yù)置的模型無關(guān)元學(xué)習(xí)算法，對(duì)預(yù)置的聲學(xué)模型進(jìn)行優(yōu)化，得到優(yōu)化后的聲學(xué)模型，所述預(yù)置的聲學(xué)模型為神經(jīng)網(wǎng)絡(luò)語音合成模型包括：

獲取訓(xùn)練文本，所述訓(xùn)練文本包括多個(gè)子文本，每一個(gè)子文本包括訓(xùn)練集文本和測(cè)試集文本；

獲取預(yù)置的聲學(xué)模型的參數(shù)，通過所述訓(xùn)練文本和預(yù)置的模型無關(guān)元學(xué)習(xí)算法，計(jì)算所述聲學(xué)模型的損失函數(shù)，得到模型損失函數(shù)，所述預(yù)置的聲學(xué)模型為神經(jīng)網(wǎng)絡(luò)語音合成模型；

基于所述模型損失函數(shù)求所述聲學(xué)模型的參數(shù)對(duì)應(yīng)的偏導(dǎo)數(shù)，得到參數(shù)偏導(dǎo)數(shù)；

基于所述參數(shù)偏導(dǎo)數(shù)，通過預(yù)置的梯度下降法對(duì)所述預(yù)置的聲學(xué)模型的所述參數(shù)進(jìn)行更新，得到優(yōu)化后的聲學(xué)模型。

4.根據(jù)權(quán)利要求1所述的語音合成方法，其特征在于，所述調(diào)用所述優(yōu)化后的聲學(xué)模型，對(duì)所述音節(jié)序列進(jìn)行編碼處理和解碼處理，得到梅爾頻譜序列包括：

調(diào)用所述優(yōu)化后的聲學(xué)模型中的編碼器，基于預(yù)設(shè)的字符嵌入層、三卷積層和編碼長(zhǎng)短期記憶網(wǎng)絡(luò)，對(duì)所述音節(jié)序列進(jìn)行編碼運(yùn)算，得到編碼特征；

調(diào)用所述優(yōu)化后的聲學(xué)模型中的解碼器，對(duì)所述編碼特征進(jìn)行基于注意力機(jī)制的解碼運(yùn)算，得到梅爾頻譜序列。

5.根據(jù)權(quán)利要求4所述的語音合成方法，其特征在于，所述調(diào)用所述優(yōu)化后的聲學(xué)模型中的編碼器，基于預(yù)設(shè)的字符嵌入層、三卷積層和編碼長(zhǎng)短期記憶網(wǎng)絡(luò)，對(duì)所述音節(jié)序列進(jìn)行編碼運(yùn)算，得到編碼特征包括：

調(diào)用所述優(yōu)化后的聲學(xué)模型中的編碼器，基于預(yù)設(shè)的字符嵌入層，將所述音節(jié)序列轉(zhuǎn)換為預(yù)設(shè)維度的字符向量，得到編碼字符向量；

通過預(yù)設(shè)的三卷積層，對(duì)所述編碼字符向量進(jìn)行歸一化處理，得到卷積向量，調(diào)用預(yù)置的激活函數(shù)激活所述卷積向量，得到激活向量；

通過預(yù)設(shè)的編碼長(zhǎng)短期記憶網(wǎng)絡(luò)對(duì)所述激活向量進(jìn)行預(yù)測(cè)，得到編碼特征，所述編碼長(zhǎng)短期記憶網(wǎng)絡(luò)為雙向的編碼長(zhǎng)短期記憶網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求1所述的語音合成方法，其特征在于，所述通過預(yù)置的聲碼器，對(duì)所述梅爾頻譜序列進(jìn)行頻譜分析，得到目標(biāo)語音包括：

調(diào)用預(yù)置的聲碼器中的反卷積層，對(duì)所述梅爾頻譜序列進(jìn)行上采樣，得到初始音頻波形，所述初始音頻波形的采樣速率與預(yù)設(shè)的波形采樣速率匹配；

對(duì)所述初始音頻波形進(jìn)行去加重處理，得到目標(biāo)音頻波形，將所述目標(biāo)音頻波形進(jìn)行拼接，得到目標(biāo)語音。