[發(fā)明專(zhuān)利]一種基于音向量文本特征的語(yǔ)音合成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201610000677.4
• 申請(qǐng)日: 2016-01-04
• 公開(kāi)（公告）號(hào): CN105654939B
• 公開(kāi)（公告）日: 2019-09-13
• 發(fā)明（設(shè)計(jì)）人: 徐明星;車(chē)浩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 極限元（杭州）智能科技股份有限公司
• 主分類(lèi)號(hào): G10L13/02
• 分類(lèi)號(hào): G10L13/02;G10L13/08;G10L17/04;G10L17/02
• 代理公司: 北京志霖恒遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11435
• 代理人: 王雨桐

1.一種基于音向量文本特征的語(yǔ)音合成方法，其特征在于：所述語(yǔ)音合成方法包括以下步驟：

步驟一：通過(guò)文本分析模塊(1)接收待分析的輸入文本，對(duì)文本特征進(jìn)行規(guī)則化處理，去掉文本中多余的符號(hào)，標(biāo)注出每個(gè)音節(jié)的聲韻母和聲調(diào)，糾正多音字發(fā)音錯(cuò)誤，得到輸入文本對(duì)應(yīng)的發(fā)音單元序列；

步驟二：通過(guò)文本參數(shù)化模塊(2)接收上述輸入文本對(duì)應(yīng)的發(fā)音單元序列，采用一位熱碼編碼表示方法得到每個(gè)音節(jié)的參數(shù)化表示的向量；

公式I為一位熱碼編碼表示方法；其中，S為音節(jié)的參數(shù)化向量，C_v為一個(gè)描述聲韻母音向量的共享矩陣，維數(shù)為v×N，v為聲韻母的個(gè)數(shù)，N為聲韻母音向量的維數(shù)，V_i為聲母音向量，V_f為韻母音向量；

步驟三：通過(guò)音向量訓(xùn)練模塊(3)接收上述參數(shù)化表示的向量，訓(xùn)練基于音向量的語(yǔ)言模型，得到文本的音向量表示；

步驟四：通過(guò)語(yǔ)音參數(shù)訓(xùn)練模塊(4)接收上述文本的音向量表示，訓(xùn)練從文本到語(yǔ)音參數(shù)的映射模型，建立音向量與語(yǔ)音參數(shù)、音向量與韻律特征參數(shù)的映射關(guān)系；

步驟五：通過(guò)音向量生成模塊(5)接收上述文本參數(shù)化模塊(2)得到的參數(shù)化的文本特征以及音向量訓(xùn)練模塊(3)得到的文本的音向量，生成分析完成的文本數(shù)據(jù)的音向量；

步驟六：通過(guò)語(yǔ)音參數(shù)預(yù)測(cè)模塊(6)接收上述分析完成的文本數(shù)據(jù)的音向量以及語(yǔ)音參數(shù)訓(xùn)練模塊(4)得到的映射模型，通過(guò)建立音向量與語(yǔ)音參數(shù)之間的映射關(guān)系，得到音向量所對(duì)應(yīng)的語(yǔ)音參數(shù)；

步驟七：通過(guò)語(yǔ)音合成器模塊(7)接收上述音向量所對(duì)應(yīng)的語(yǔ)音參數(shù)最終合成語(yǔ)音。

2.根據(jù)權(quán)利要求1所述的基于音向量文本特征的語(yǔ)音合成方法，其特征在于：所述步驟三中的音向量訓(xùn)練模塊(3)包括語(yǔ)言模型訓(xùn)練模塊(8)和音向量提取模塊(9)；所述文本參數(shù)化模塊(2)輸出的參數(shù)化表示的向量首先由語(yǔ)言模型訓(xùn)練模塊(8)接收，采用基于遞歸神經(jīng)網(wǎng)絡(luò)的統(tǒng)計(jì)參數(shù)語(yǔ)言模型，訓(xùn)練基于音節(jié)的語(yǔ)言模型得到每個(gè)音節(jié)的音向量；再由音向量提取模塊(9)根據(jù)上述訓(xùn)練得到的每個(gè)音節(jié)的音向量，從中分離出聲韻母的音向量；

P(s₁，s₂，...，s_K)＝P(s₁)×P(s₂|s₁)×P(s₃|s₁，s₂)×...×P(s_K|s₁，s₂，...，s_K-1) II

公式II為基于遞歸神經(jīng)網(wǎng)絡(luò)的統(tǒng)計(jì)參數(shù)語(yǔ)言模型；其中，P(s₁，s₂，...，s_K)為生成s₁，s₂，..，s_K這些音節(jié)的概率，s_K為第K個(gè)音節(jié)，K為音節(jié)個(gè)數(shù)，P(s₁)為生成音節(jié)s₁的概率，P(s₂|s₁)為在存在音節(jié)s₁條件下生成音節(jié)s₂的概率，P(s₃|s₁，s₂)為在存在音節(jié)s₁，s₂條件下生成音節(jié)s₃的概率，P(s_K|s₁，s₂，...，s_K-1)為在存在音節(jié)s₁，s₂，...，s_K-1條件下生成音節(jié)s_K的概率。

3.根據(jù)權(quán)利要求1所述的基于音向量文本特征的語(yǔ)音合成方法，其特征在于：所述步驟五中的音向量生成模塊(5)包括矩陣運(yùn)算模塊(10)和音向量生成提取模塊(11)；所述文本參數(shù)化模塊(2)得到的參數(shù)化的文本特征以及音向量訓(xùn)練模塊(3)得到的文本的音向量首先由矩陣運(yùn)算模塊(10)接收，然后按照公式I進(jìn)行矩陣運(yùn)算，得到任意輸入文本的音向量表示；所述音向量生成提取模塊(11)接收上述任意輸入文本的音向量表示，從中分離出聲韻母的音向量，生成分析完成的文本數(shù)據(jù)的音向量。

4.根據(jù)權(quán)利要求1所述的基于音向量文本特征的語(yǔ)音合成方法，其特征在于：所述步驟七中的語(yǔ)音合成器模塊(7)包括語(yǔ)音參數(shù)生成模塊(12)、語(yǔ)音參數(shù)合成器模塊(13)和語(yǔ)音單元挑選模塊(14)；所述語(yǔ)音參數(shù)預(yù)測(cè)模塊(6)得到的音向量所對(duì)應(yīng)的語(yǔ)音參數(shù)首先由語(yǔ)音參數(shù)生成模塊(12)接收，在語(yǔ)音參數(shù)生成模塊(12)中調(diào)用語(yǔ)音參數(shù)生成算法，生成可以合成的語(yǔ)音參數(shù)；所述語(yǔ)音參數(shù)合成器模塊(13)和語(yǔ)音單元挑選模塊(14)分別接收上述生成的可以合成的語(yǔ)音參數(shù)，語(yǔ)音參數(shù)合成器模塊(13)通過(guò)調(diào)用聲碼器來(lái)合成語(yǔ)音，語(yǔ)音單元挑選模塊(14)采用單元挑選的方法來(lái)合成語(yǔ)音，最后輸出語(yǔ)音。