[發(fā)明專利]一種混合語(yǔ)言語(yǔ)音合成方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710582572.9
• 申請(qǐng)日: 2017-07-17
• 公開（公告）號(hào): CN107481713B
• 公開（公告）日: 2020-06-02
• 發(fā)明（設(shè)計(jì)）人: 王東;張之勇
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué);北京孚睿星辰智能科技有限責(zé)任公司
• 主分類號(hào): G10L13/02
• 分類號(hào): G10L13/02;G10L13/04;G10L15/07
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩;曹杰

本發(fā)明公開一種混合語(yǔ)言語(yǔ)音合成方法及裝置。其中，所述方法包括：獲取待合成文本，并提取所述待合成文本的語(yǔ)言學(xué)特征向量；獲取特定說話人的語(yǔ)音數(shù)據(jù)，并根據(jù)所述特定說話人的語(yǔ)音數(shù)據(jù)提取所述特定說話人的說話人向量；將所述待合成文本的語(yǔ)言學(xué)特征向量和所述特定說話人的說話人向量進(jìn)行拼接，獲得所述待合成文本的語(yǔ)音合成輸入向量；根據(jù)所述待合成文本的語(yǔ)音合成輸入向量和預(yù)先建立的混合語(yǔ)言語(yǔ)音合成模型，獲得所述待合成文本的特定說話人的合成語(yǔ)音。所述裝置用于執(zhí)行上述方法。本發(fā)明提供的混合語(yǔ)言語(yǔ)音合成方法及裝置，能夠?qū)崿F(xiàn)語(yǔ)音合成說話人的快速更改與混合語(yǔ)言語(yǔ)音合成，提高混合語(yǔ)言語(yǔ)音合成的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及語(yǔ)音處理技術(shù)領(lǐng)域，具體涉及一種混合語(yǔ)言語(yǔ)音合成方法及裝置。

背景技術(shù)

語(yǔ)音合成技術(shù)是將文本轉(zhuǎn)化成聲音的技術(shù)，混合語(yǔ)言語(yǔ)音合成是指待合成文本中存在多種語(yǔ)言，將多種語(yǔ)言的文本轉(zhuǎn)化成相應(yīng)的語(yǔ)音。

圖1為傳統(tǒng)的混合語(yǔ)言語(yǔ)音合成的過程的示意圖，如圖1所示，在進(jìn)行混合語(yǔ)言語(yǔ)音合成時(shí)需要預(yù)先建立混合語(yǔ)言語(yǔ)音合成的聲學(xué)模型，在建立上述聲學(xué)模型時(shí)，需要對(duì)混合語(yǔ)言語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的文本進(jìn)行語(yǔ)言學(xué)分析并提取出語(yǔ)言學(xué)特征參數(shù)，包括音素、音節(jié)、字、詞及句子等不同層面的位置、數(shù)量、詞性、音調(diào)和上下文，同時(shí)對(duì)混合語(yǔ)言語(yǔ)音數(shù)據(jù)進(jìn)行分析，提取出語(yǔ)音學(xué)特征參數(shù)，包括基頻、非周期信息和頻譜。然后將獲得的語(yǔ)言學(xué)特征參數(shù)輸入到訓(xùn)練模型中，上述模型可以是遞歸神經(jīng)網(wǎng)絡(luò)模型，獲得預(yù)測(cè)的基頻、非周期信息和頻譜聲學(xué)特征，將預(yù)測(cè)的基頻、非周期信息和頻譜聲學(xué)特征與上述語(yǔ)音學(xué)特征參數(shù)進(jìn)行對(duì)比，通過模型訓(xùn)練算法，例如梯度更新算法，迭代優(yōu)化訓(xùn)練模型直至其收斂，獲得混合語(yǔ)言語(yǔ)音合成的聲學(xué)模型。

在對(duì)待合成文本進(jìn)行語(yǔ)音合成時(shí)，上述待合成文本執(zhí)行與模型訓(xùn)練時(shí)對(duì)文本數(shù)據(jù)同樣的處理過程提取對(duì)應(yīng)的語(yǔ)言學(xué)特征參數(shù)，將上述語(yǔ)言學(xué)特征參數(shù)輸入到已經(jīng)建立的聲學(xué)模型中，即可得到待合成文本的合成語(yǔ)音。在模型訓(xùn)練時(shí)，采用的說話人，即為上述混合語(yǔ)言文本對(duì)應(yīng)的語(yǔ)音的說話人，當(dāng)需要更改說話人時(shí)，需要更改的說話人的大量的混合語(yǔ)言語(yǔ)音數(shù)據(jù)對(duì)上述聲學(xué)模型進(jìn)行重新訓(xùn)練，在實(shí)際操作中，較長(zhǎng)時(shí)間的混合語(yǔ)言語(yǔ)音數(shù)據(jù)的錄制無(wú)論對(duì)于錄制人還是后期的處理工作都是耗時(shí)耗力。尤其是，考慮到現(xiàn)今全世界現(xiàn)存語(yǔ)言大約有6900種，找到能講多種語(yǔ)言的發(fā)音人有時(shí)是很困難的。

因此，如何提出一種混合語(yǔ)言語(yǔ)音合成方法，能夠?qū)崿F(xiàn)語(yǔ)音合成說話人的快速更改與混合語(yǔ)言語(yǔ)音合成，提高混合語(yǔ)言語(yǔ)音合成的效率，成為業(yè)界亟待解決的重要課題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種混合語(yǔ)言語(yǔ)音合成方法及裝置。

一方面，本發(fā)明提出一種混合語(yǔ)言語(yǔ)音合成方法，包括：

獲取待合成文本，并提取所述待合成文本的語(yǔ)言學(xué)特征向量；

獲取特定說話人的語(yǔ)音數(shù)據(jù)，并根據(jù)所述特定說話人的語(yǔ)音數(shù)據(jù)提取所述特定說話人的說話人向量；

將所述待合成文本的語(yǔ)言學(xué)特征向量和所述特定說話人的說話人向量進(jìn)行拼接，獲得所述待合成文本的語(yǔ)音合成輸入向量；

將所述待合成文本的語(yǔ)音合成輸入向量輸入到預(yù)先建立的混合語(yǔ)言語(yǔ)音合成模型中，獲得所述待合成文本的特定說話人的合成語(yǔ)音合成語(yǔ)音。

另一方面，本發(fā)明提供一種混合語(yǔ)言語(yǔ)音合成裝置，包括：

第一提取單元，用于獲取待合成文本，并提取所述待合成文本的語(yǔ)言學(xué)特征向量；

第二提取單元，用于獲取特定說話人的語(yǔ)音數(shù)據(jù)，并根據(jù)所述特定說話人的語(yǔ)音數(shù)據(jù)提取所述特定說話人的說話人向量；

拼接單元，用于將所述待合成文本的語(yǔ)言學(xué)特征向量和所述特定說話人的說話人向量進(jìn)行拼接，獲得所述待合成文本的語(yǔ)音合成輸入向量；