[發(fā)明專利]一種合成語音的優(yōu)化方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202011217838.8
• 申請日: 2020-11-04
• 公開（公告）號: CN112102811B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計）人: 張彤彤
• 申請（專利權(quán)）人: 北京淇瑀信息科技有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/033;G10L13/04
• 代理公司: 北京清誠知識產(chǎn)權(quán)代理有限公司 11691
• 代理人: 喬東峰

1.一種合成語音的優(yōu)化方法，其特征在于，所述方法包括：

通過TTS生成變量語音的聲學特征；

獲取所述變量語音的平行語料對應(yīng)的真實變量語音；所述變量語音的平行語料對應(yīng)的真實變量語音是指由固定語音的錄音師錄制的所述變量語音的平行語料的語音；

提取所述真實變量語音的聲學特征；

通過所述變量語音和所述真實變量語音的聲學特征訓練預設(shè)神經(jīng)網(wǎng)絡(luò)；

將待優(yōu)化的變量語音的聲學特征輸入訓練好的所述預設(shè)神經(jīng)網(wǎng)絡(luò)中進行優(yōu)化；

其中，所述通過TTS生成變量語音的聲學特征包括：

通過開源語料訓練TTS的基礎(chǔ)模型；

通過目標音色語料以finetune的方式訓練所述基礎(chǔ)模型，得到微調(diào)模型；

根據(jù)變量語料和所述微調(diào)模型生成變量語音的聲學特征。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)變量語料和所述微調(diào)模型生成變量語音的聲學特征包括：

將變量語料輸入所述微調(diào)模型中得到所述變量語音聲音頻譜的聲學特征。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

通過預設(shè)聲碼器基于優(yōu)化后的變量語音的聲學特征生成優(yōu)化后的變量語音；

根據(jù)優(yōu)化后的變量語音和固定語音合成目標音色語音。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述聲學特征為Fbank特征。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預設(shè)神經(jīng)網(wǎng)絡(luò)為循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述預設(shè)聲碼器為WaveGAN聲碼器。

7.一種合成語音的優(yōu)化裝置，其特征在于，所述裝置包括：

生成模塊，用于通過TTS生成變量語音的聲學特征；

獲取模塊，用于獲取所述變量語音的平行語料對應(yīng)的真實變量語音；所述變量語音的平行語料對應(yīng)的真實變量語音是指由固定語音的錄音師錄制的所述變量語音的平行語料的語音；

提取模塊，用于提取所述真實變量語音的聲學特征；

訓練模塊，用于通過所述變量語音和所述真實變量語音的聲學特征訓練預設(shè)神經(jīng)網(wǎng)絡(luò)；

優(yōu)化模塊，用于將待優(yōu)化的變量語音的聲學特征輸入訓練好的所述預設(shè)神經(jīng)網(wǎng)絡(luò)中進行優(yōu)化；

其中，所述生成模塊包括：

第一訓練模塊，用于通過開源語料訓練TTS的基礎(chǔ)模型；

第二訓練模塊，用于通過目標音色語料以fine tune的方式訓練所述基礎(chǔ)模型，得到微調(diào)模型；

第一生成模塊，用于根據(jù)變量語料和所述微調(diào)模型生成變量語音的聲學特征。

8.一種電子設(shè)備，包括：

處理器；以及

存儲計算機可執(zhí)行指令的存儲器，所述計算機可執(zhí)行指令在被執(zhí)行時使所述處理器執(zhí)行根據(jù)權(quán)利要求1-6中任一項所述的方法。

9.一種計算機可讀存儲介質(zhì)，其中，所述計算機可讀存儲介質(zhì)存儲一個或多個程序，當所述一個或多個程序被處理器執(zhí)行時，實現(xiàn)權(quán)利要求1-6中任一項所述的方法。