[發(fā)明專利]一種合成語音的優(yōu)化方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202011217838.8
• 申請日: 2020-11-04
• 公開（公告）號: CN112102811B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 張彤彤
• 申請（專利權(quán)）人: 北京淇瑀信息科技有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/033;G10L13/04
• 代理公司: 北京清誠知識產(chǎn)權(quán)代理有限公司 11691
• 代理人: 喬東峰

本發(fā)明公開了一種合成語音的優(yōu)化方法、裝置及電子設(shè)備，所述方法包括：通過TTS生成變量語音的聲學(xué)特征；獲取所述變量語音的平行語料對應(yīng)的真實(shí)變量語音；提取所述真實(shí)變量語音的聲學(xué)特征；通過所述變量語音和所述真實(shí)變量語音的聲學(xué)特征訓(xùn)練預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)；將待優(yōu)化的變量語音的聲學(xué)特征輸入所述訓(xùn)練好的預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)中進(jìn)行優(yōu)化。通過本發(fā)明的優(yōu)化方法能夠生成與錄音師錄制的固定語音相似度很高的變量語音，能有效減小變量語音與固定語音的音色差異，提升語音拼接合成的整體音色效果。

技術(shù)領(lǐng)域

本發(fā)明涉及語音智能技術(shù)領(lǐng)域，具體而言，涉及一種合成語音的優(yōu)化方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)

在智能語音交互過程中，語音機(jī)器人通常會采用預(yù)設(shè)的話術(shù)與用戶進(jìn)行語音交互。其中，預(yù)設(shè)話術(shù)一般由固定語音和變量語音合成。固定語音是對所有用戶通用的語音，變量語音是對單個(gè)用戶需要改變的語音。例如，在預(yù)設(shè)話術(shù)“您好！xx先生。”中，“您好”和“先生”對所有男性用戶均可使用，屬于固定語音；而“xx”需要根據(jù)每位男性用戶的姓名進(jìn)行改變，因此屬于變量語音。

現(xiàn)有技術(shù)中，固定語音是預(yù)先找專業(yè)的錄音師錄制好的，變量語音通過從文本到語音(Text-To-Speech，TTS)合成錄音師音色的聲音，之后再將變量語音和固定語音拼接到一起。但目前主流的TTS方法都是基于端到端的網(wǎng)絡(luò)，比如tactron2，transformer tts，fast speech等。一般需要找錄音師錄制10小時(shí)以上的高質(zhì)量語料，然后訓(xùn)練TTS和vocoder(聲碼器)網(wǎng)絡(luò)進(jìn)行合成。10小時(shí)高質(zhì)量語料需要專業(yè)設(shè)備進(jìn)行錄制，并且需要專業(yè)人士的監(jiān)聽，需要消耗大量的時(shí)間和經(jīng)濟(jì)成本。此外，這種方式生成的變量語音的音色效果與錄音師錄制的固定語音的音色效果還存在一定差異，造成二者拼接合成的語音銜接不自然，存在音色差異。

發(fā)明內(nèi)容

本發(fā)明旨在解決合成目標(biāo)音色的變量語音與錄音師錄制的固定語音存在音色差異，造成拼接合成的語音銜接不自然的技術(shù)問題。

為了解決上述技術(shù)問題，本發(fā)明第一方面提出一種合成語音的優(yōu)化方法，所述方法包括：

通過TTS生成變量語音的聲學(xué)特征；

獲取所述變量語音的平行語料對應(yīng)的真實(shí)變量語音；所述變量語音的平行語料對應(yīng)的真實(shí)變量語音是指由固定語音的錄音師錄制的所述變量語音的平行語料的語音；

提取所述真實(shí)變量語音的聲學(xué)特征；

通過所述變量語音和所述真實(shí)變量語音的聲學(xué)特征訓(xùn)練預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)；

將待優(yōu)化的變量語音的聲學(xué)特征輸入訓(xùn)練好的所述預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)中進(jìn)行優(yōu)化；

其中，所述通過TTS生成變量語音的聲學(xué)特征包括：

通過開源語料訓(xùn)練TTS的基礎(chǔ)模型；

通過目標(biāo)音色語料以fine tune的方式訓(xùn)練所述基礎(chǔ)模型，得到微調(diào)模型；

根據(jù)變量語料和所述微調(diào)模型生成變量語音的聲學(xué)特征。

根據(jù)本發(fā)明一種優(yōu)選的實(shí)施方式，所述根據(jù)變量語料和所述微調(diào)模型生成變量語音的聲學(xué)特征包括：

將變量語料輸入所述微調(diào)模型中得到所述變量語音聲音頻譜的聲學(xué)特征。

根據(jù)本發(fā)明一種優(yōu)選的實(shí)施方式，所述方法還包括：

通過預(yù)設(shè)聲碼器基于優(yōu)化后的變量語音的聲學(xué)特征生成優(yōu)化后的變量語音；

根據(jù)優(yōu)化后的變量語音和固定語音合成目標(biāo)音色語音。

根據(jù)本發(fā)明一種優(yōu)選的實(shí)施方式，所述聲學(xué)特征為Fbank特征。

根據(jù)本發(fā)明一種優(yōu)選的實(shí)施方式，所述預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)為循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。