[發(fā)明專(zhuān)利]語(yǔ)音合成數(shù)據(jù)庫(kù)停頓信息自動(dòng)標(biāo)注方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610091554.6
• 申請(qǐng)日: 2016-02-19
• 公開(kāi)（公告）號(hào): CN105632484B
• 公開(kāi)（公告）日: 2019-04-09
• 發(fā)明（設(shè)計(jì)）人: 劉青松;許東星;王鳴;黃盼
• 申請(qǐng)（專(zhuān)利權(quán)）人: 云知聲（上海）智能科技有限公司
• 主分類(lèi)號(hào): G10L13/08
• 分類(lèi)號(hào): G10L13/08
• 代理公司: 上海唯源專(zhuān)利代理有限公司 31229
• 代理人: 曾耀先

本發(fā)明涉及一種語(yǔ)音合成數(shù)據(jù)庫(kù)停頓信息自動(dòng)標(biāo)注系統(tǒng)及方法，該方法包括：獲取語(yǔ)音合成數(shù)據(jù)庫(kù)中待標(biāo)注的語(yǔ)音數(shù)據(jù)；將所述語(yǔ)音數(shù)據(jù)轉(zhuǎn)化為語(yǔ)音特征幀序列并判斷所述語(yǔ)音特征幀序列中的停頓信息，形成停頓信息的預(yù)測(cè)位置；將所述語(yǔ)音數(shù)據(jù)轉(zhuǎn)化為文本數(shù)據(jù)；利用自動(dòng)切分對(duì)齊方法計(jì)算所述語(yǔ)音數(shù)據(jù)和所述文本數(shù)據(jù)在時(shí)間軸上的映射關(guān)系；基于所述映射關(guān)系將所述停頓信息插入到所述文本數(shù)據(jù)中以形成標(biāo)注文本信息；以及利用自動(dòng)切分對(duì)齊方法計(jì)算所述語(yǔ)音數(shù)據(jù)和所述標(biāo)注文本信息在時(shí)間軸上的映射關(guān)系。本發(fā)明實(shí)現(xiàn)了自動(dòng)標(biāo)注數(shù)據(jù)中語(yǔ)音數(shù)據(jù)的停頓信息，節(jié)省了靠人工聽(tīng)來(lái)標(biāo)注停頓的成本和時(shí)間，周期短，準(zhǔn)確率高，還具有良好的經(jīng)濟(jì)效益。

技術(shù)領(lǐng)域

本發(fā)明涉及語(yǔ)音合成領(lǐng)域，特指一種語(yǔ)音合成數(shù)據(jù)庫(kù)停頓信息自動(dòng)標(biāo)注方法及系統(tǒng)。

背景技術(shù)

語(yǔ)音合成是指將輸入的文本信息轉(zhuǎn)化為聲音的系統(tǒng)，語(yǔ)音合成系統(tǒng)分為兩個(gè)模塊，前端處理模塊和后端模塊。在前端中對(duì)文本進(jìn)行分析，輸出帶有發(fā)音以及分詞、詞性等和韻律停頓相關(guān)的信息。后端模塊利用前端模塊的的輸出信息和原始語(yǔ)音提出的特征，分別訓(xùn)練倒譜參數(shù)模型，基頻參數(shù)模型和時(shí)長(zhǎng)參數(shù)模型。參數(shù)語(yǔ)音合成系統(tǒng)的優(yōu)勢(shì)是模型小、方便合成定制、利于離線實(shí)現(xiàn)的場(chǎng)景。

參數(shù)語(yǔ)音合成系統(tǒng)通常是基于標(biāo)準(zhǔn)語(yǔ)音數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)中包含語(yǔ)音文件和相應(yīng)的標(biāo)注信息文件。標(biāo)注信息分為三類(lèi)，發(fā)音信息，韻律信息，時(shí)長(zhǎng)切分信息。這些信息需要專(zhuān)業(yè)的標(biāo)注人員通過(guò)人工聽(tīng)語(yǔ)音進(jìn)行判斷標(biāo)注，尤其是時(shí)長(zhǎng)切分信息，時(shí)長(zhǎng)映射信息的標(biāo)注包括語(yǔ)音中停頓的判斷和音素與語(yǔ)音時(shí)間的映射關(guān)系。

若數(shù)據(jù)庫(kù)中的數(shù)據(jù)量龐大，這樣靠人工聽(tīng)進(jìn)行停頓的標(biāo)注一方面使得數(shù)據(jù)庫(kù)建立的周期長(zhǎng)，且成本高，經(jīng)濟(jì)效益較差。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺陷，提供一種語(yǔ)音合成數(shù)據(jù)庫(kù)停頓信息自動(dòng)標(biāo)注方法及系統(tǒng)，解決現(xiàn)有技術(shù)中靠人工聽(tīng)來(lái)標(biāo)注停頓的方法存在的周期長(zhǎng)、成本高、且經(jīng)濟(jì)效益差的問(wèn)題。

實(shí)現(xiàn)上述目的的技術(shù)方案是：

本發(fā)明一種語(yǔ)音合成數(shù)據(jù)庫(kù)停頓信息自動(dòng)標(biāo)注方法，包括：

獲取語(yǔ)音合成數(shù)據(jù)庫(kù)中待標(biāo)注的語(yǔ)音數(shù)據(jù)；

將所述語(yǔ)音數(shù)據(jù)轉(zhuǎn)化為語(yǔ)音特征幀序列并判斷所述語(yǔ)音特征幀序列中的停頓信息，形成停頓信息的預(yù)測(cè)位置；

從語(yǔ)音合成數(shù)據(jù)庫(kù)中獲取與所述語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的文本數(shù)據(jù)；

利用自動(dòng)切分對(duì)齊方法計(jì)算所述語(yǔ)音數(shù)據(jù)和所述文本數(shù)據(jù)在時(shí)間軸上的映射關(guān)系；

基于所述映射關(guān)系將所述停頓信息插入到所述文本數(shù)據(jù)中以形成標(biāo)注文本信息；以及

利用自動(dòng)切分對(duì)齊方法計(jì)算所述語(yǔ)音數(shù)據(jù)和所述標(biāo)注文本信息在時(shí)間軸上的映射關(guān)系。

本發(fā)明實(shí)現(xiàn)了自動(dòng)標(biāo)注數(shù)據(jù)中語(yǔ)音數(shù)據(jù)的停頓信息，節(jié)省了靠人工聽(tīng)來(lái)標(biāo)注停頓的成本和時(shí)間，周期短，還具有良好的經(jīng)濟(jì)效益。通過(guò)自動(dòng)切分對(duì)齊方法能夠準(zhǔn)確的將停頓信息加入到文本數(shù)據(jù)中，具有標(biāo)注準(zhǔn)確率高的優(yōu)勢(shì)。

本發(fā)明語(yǔ)音合成數(shù)據(jù)庫(kù)停頓信息自動(dòng)標(biāo)注方法的進(jìn)一步改進(jìn)在于，將所述語(yǔ)音數(shù)據(jù)轉(zhuǎn)化為語(yǔ)音特征幀序列并判斷所述語(yǔ)音特征幀序列中的停頓信息，形成停頓信息的預(yù)測(cè)位置，包括：

以設(shè)定的幀長(zhǎng)和幀移對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行分幀處理，獲得對(duì)應(yīng)的語(yǔ)音特征幀序列；

計(jì)算所述語(yǔ)音特征幀序列中每一語(yǔ)音特征幀的能量值，形成對(duì)應(yīng)所述語(yǔ)音特征幀序列的語(yǔ)音特征幀能量序列；

平滑所述語(yǔ)音特征幀能量序列，設(shè)定能量閾值，判斷得出所述語(yǔ)音特征幀能量序列中低于所述能量閾值的能量值的起始幀和結(jié)束幀，形成預(yù)判的停頓片段；

設(shè)定停頓時(shí)長(zhǎng)，比較所述預(yù)判的停頓片段與所述停頓時(shí)長(zhǎng)的大小，若所述預(yù)判的停頓片段大于所述停頓時(shí)長(zhǎng)，則判斷所述預(yù)判的停頓片段為停頓信息。