[發(fā)明專利]支持多說話人風(fēng)格、語言切換且韻律可控的語音合成裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110008049.1
• 申請(qǐng)日: 2021-01-05
• 公開（公告）號(hào): CN112863483B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 盛樂園
• 申請(qǐng)（專利權(quán)）人: 杭州一知智能科技有限公司
• 主分類號(hào): G10L13/10
• 分類號(hào): G10L13/10;G10L19/02;G10L19/26;G10L25/30;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 鄭海峰

本發(fā)明公開了一種支持多說話人風(fēng)格、語言切換且韻律可控的語音合成裝置，屬于語音合成領(lǐng)域。包括：文本獲取單元和文本預(yù)處理單元，其用于獲取不同的文本數(shù)據(jù)并進(jìn)行預(yù)處理；語言切換單元，其用于存儲(chǔ)并展示不同語言類型的訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的說話人標(biāo)簽，并且自動(dòng)識(shí)別待合成文本的語言類型；風(fēng)格切換單元，其用于根據(jù)語言類型指定語音合成風(fēng)格；說話人切換單元，其用于指定說話人；編碼?解碼單元，其用于獲得預(yù)測(cè)梅爾頻譜；訓(xùn)練單元，其用于對(duì)編碼?解碼單元進(jìn)行訓(xùn)練；語音合成單元，其用于根據(jù)生成預(yù)測(cè)梅爾頻譜，并轉(zhuǎn)化為聲音信號(hào)進(jìn)行語音播放。本發(fā)明能夠在產(chǎn)生韻律變化更加豐富的語音的同時(shí)可以對(duì)說話人和說話人風(fēng)格的進(jìn)行分別控制。

技術(shù)領(lǐng)域

本發(fā)明屬于語音合成領(lǐng)域，尤其涉及一種支持多說話人風(fēng)格、語言切換且韻律可控的語音合成裝置。

背景技術(shù)

近年來隨著深度學(xué)習(xí)的發(fā)展，語音合成技術(shù)也得到了很大程度上的提高。語音合成從傳統(tǒng)的參數(shù)法和拼接法走向了端到端的方式。它們通常是先由文本特征生成梅爾頻譜，然后將梅爾頻譜利用聲碼器像來合成語音。這些端到端的方法按照結(jié)構(gòu)可以分為自回歸的模型和非自回歸的模型。自回歸的模型通常采用編碼器-注意力-解碼器(Encoder-Attention-Decoder)機(jī)制進(jìn)行自回歸生成：要生成當(dāng)前數(shù)據(jù)點(diǎn)，必須生成時(shí)間序列里前面的所有數(shù)據(jù)點(diǎn)作為模型輸入，像Taoctron,Taoctron 2,Deep voice 3,Clarinet,Tansformer TTS。盡管自回歸的模型能夠生成令人滿意的結(jié)果，但是如果Attention產(chǎn)生的注意力不夠好，則可能會(huì)導(dǎo)致合成的語音中有重復(fù)或者漏字的現(xiàn)象。非自回歸的模型能夠并行化的由文本特征生成梅爾頻譜，生成的速度要比自回歸的模型快很多，像ParaNet，F(xiàn)astspeech,Aligntts,Fastspeech 2。

現(xiàn)有的語音合成方法對(duì)合成語音的控制單一，無法針對(duì)多種語言的混合語音進(jìn)行合成，更無法對(duì)多說話人的風(fēng)格進(jìn)行解耦分離，應(yīng)用到其他說話人上。

因此，如何能夠在既保證韻律可控的基礎(chǔ)上，使得語音合成系統(tǒng)支持多說話人，并且可以對(duì)說話人的風(fēng)格進(jìn)行解耦分離應(yīng)用到其他說話人之上，仍是計(jì)算機(jī)智能語音合成領(lǐng)域內(nèi)尚未解決的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決現(xiàn)有技術(shù)中的問題，一方面在韻律標(biāo)注的文本、時(shí)長(zhǎng)、能量和音高，四個(gè)特征對(duì)合成語音的韻律進(jìn)行控制。另外一方面，可以支持?jǐn)?shù)據(jù)集中只說一種語言的具有說兩種語言的能力，進(jìn)行語言的遷移，也可以將多說話人的風(fēng)格從說話人的特征解耦出來，應(yīng)用到其他說話人中，進(jìn)行說話人風(fēng)格的遷移。本發(fā)明通過對(duì)語音合成模型的優(yōu)化，克服了語言和說話人風(fēng)格對(duì)其他說話人的限制，實(shí)現(xiàn)了多說話人多語言風(fēng)格可分離的、韻律可全面控制語音合成系統(tǒng)。

為了實(shí)現(xiàn)上述目的，本發(fā)明所采用的具體技術(shù)方案是：

一種支持多說話人風(fēng)格、語言切換且韻律可控的語音合成裝置，包括：

文本獲取單元，其用于根據(jù)語音合成裝置所處的模式獲取不同的文本數(shù)據(jù)，包括在訓(xùn)練模式時(shí)獲取帶韻律標(biāo)簽的混合訓(xùn)練文本及對(duì)應(yīng)的標(biāo)準(zhǔn)語音音頻，并標(biāo)記每一條標(biāo)準(zhǔn)語音音頻的說話人標(biāo)簽；在預(yù)測(cè)模式時(shí)獲取待合成文本；

文本預(yù)處理單元，其用于將文本轉(zhuǎn)化為帶韻律標(biāo)簽的音素序列，并且在訓(xùn)練模式時(shí)，還要根據(jù)文本對(duì)應(yīng)的標(biāo)準(zhǔn)語音音頻輸出真實(shí)的梅爾頻譜、真實(shí)的能量、真實(shí)的音高、真實(shí)的時(shí)長(zhǎng)和對(duì)應(yīng)的說話人標(biāo)簽；

語言切換單元，其用于存儲(chǔ)并展示不同語言類型的訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的說話人標(biāo)簽，并且自動(dòng)識(shí)別待合成文本的語言類型；

風(fēng)格切換單元，其用于讀取語言切換單元展示的文本的語言類型，根據(jù)語言類型設(shè)定第一說話人標(biāo)簽作為語音合成風(fēng)格；

說話人切換單元，其用于設(shè)定第二說話人標(biāo)簽作為指定說話人；