[發明專利]端到端的漢語韻律層級結構預測模型的構建方法及系統

有效

• 申請號: 201710562102.6
• 申請日: 2017-07-11
• 公開（公告）號: CN107451115B
• 公開（公告）日: 2020-03-06
• 發明（設計）人: 陶建華;鄭藝斌;溫正棋
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/284;G06K9/62;G06N3/04
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 郭文浩;王世超

本發明涉及一種端到端的漢語韻律層級結構預測模型的構建方法及系統，所述構建方法包括：根據多個裸文本得到字嵌入embedding層的字向量序列；基于長短時間記憶BLSTM神經網絡和條件隨機場CRF分類器，根據所述字向量序列，構建漢語韻律層級結構的預測模型，用于預測待處理文本的漢語韻律層級結構。本發明端到端的漢語韻律層級結構預測模型的構建方法及系統將字embedding層、BLSTM神經網絡及CRF分類器串聯在一起，根據字embedding層的字向量序列，基于BLSTM神經網絡及CRF分類器得到漢語韻律層級結構的預測模型，實現對待處理文本的準確預測。

技術領域

本發明涉及人機交互總語音合成技術領域，更具體地，涉及一種端到端的漢語韻律層級結構預測模型的構建方法及系統。

背景技術

準確的韻律層級描述及從文本信息中預測韻律層級結構一直是語音合成中至關重要的一步，是提高合成語音自然度和表現力、構建和諧人機交互技術的重要組成部分。韻律結構模型能夠刻畫出語音中的抑揚頓挫與輕重緩急，進而提高合成語音的表現力和自然度。韻律結構建模與預測對語音合成、人機交互等的發展具有重要意義。

雖然，在這個領域已經有很多的研究工作，但是韻律結構和重音建模與預測還有很多問題至今沒有很好的解決。

主要表現在以下幾點：

1、現有的漢語韻律層級結構預測都是一個兩階段的過程。第一階段是文本的特征提取，包括詞性，詞在句中的位置，詞向量等特征參數的提取。第二階段則是利用提取得到的文本參數信息，利用統計機器學習的方法建立起文本參數到韻律結構之間的映射關系。這種兩階段的建模方法不僅嚴重依賴于文本特征提取的精度(文本參數預測的誤差會累積到第二階段的建模上)，而且文本特征提取需要很多的人為標注工作。

2、現有的漢語韻律預測方法大多都以詞作為基本的建模單元。這其中，又需要經過分詞這一過程，這又使得分詞的誤差會進一步累積到最后韻律層級結構的建模中。

3、現有的單一模型預測的準確度普遍達不到一個理想的狀態，因此語音合成的自然度也大大受損，進而影響人們的聽感。

發明內容

為了解決現有技術中的上述問題，即為了解決準確預測漢語韻律層級結構，本發明提供了一種端到端的漢語韻律層級結構預測模型的構建方法及系統。

為實現上述目的，本發明提供了如下方案：

一種端到端的漢語韻律層級結構預測模型的構建方法，所述構建方法包括：

根據多個裸文本得到字嵌入embedding層的字向量序列；

基于長短時間記憶BLSTM神經網絡和條件隨機場CRF分類器，根據所述字向量序列，構建漢語韻律層級結構的預測模型，用于預測待處理文本的漢語韻律層級結構。

可選的，所述根據多個裸文本得到字embedding層的字向量序列，具體包括：

根據各裸文本建立以字為單位的字典；

基于連續詞袋模型CBOW，利用文本語料對所述字典進行訓練得到字embedding層的字向量序列。

可選的，所述根據各裸文本建立以字為單位的字典，具體包括：

統計各裸文本中的各個字出現的頻率；

按照字出現的頻率從大到小的順序進行排序，選取前N個字作為字典；其中，不在字典中的字，統一用OOV進行表示。

可選的，所述漢語韻律層級結構分為三個層級，自底向上分別為韻律詞、韻律短語和語調短語，并且漢語韻律層級結構的前一層級的預測標簽信息為當前層級的標簽信息。

可選的，所述構建漢語韻律層級結構的預測模型，具體包括：