[發明專利]基于韻律參照的語音合成裝置和方法

無效

• 申請號: 200810166002.2
• 申請日: 2008-09-28
• 公開（公告）號: CN101685633A
• 公開（公告）日: 2010-03-31
• 發明（設計）人: 郭慶;陸應亮;王彬
• 申請（專利權）人: 富士通株式會社
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08
• 代理公司: 北京三友知識產權代理有限公司
• 代理人: 李 輝

技術領域

本發明涉及基于韻律參照進行語音合成的裝置和方法，更具體地說，本發明涉及以從自然語音或者基于特定標準制作的韻律特征標注文件中獲得的抑揚頓挫的韻律特征為參照，來合成出具有高自然度的合成語音的裝置和方法。

背景技術

語音合成(Text-To-Speech，簡稱TTS)是用于從文本轉化到語音的技術，具體地說，是一種將任意文字信息轉化為標準、流暢語音的技術。語音合成牽涉到自然語言處理、韻律學、語音信號處理、聲音感知等多種前沿的高新科技，橫跨聲學、語言學、數字信號處理等多個學科，是中文信息處理領域的一項前沿技術。

語音合成技術可廣泛應用于電信、金融、電力、郵政、政府等行業。語音合成技術可以讓用戶更為輕松地收發電子郵件，獲取股市行情，了解天氣、交通和道路情況，不久的將來，它將提供更為全面的更有價值的應用服務。

語音合成系統用于合成高可懂度、高自然度的語音。

一般來說，語音合成系統首先要選取一定的基本合成單元，譬如英語中的音素、漢語中的半音節或者帶調音節等，然后在韻律模型(音長和基頻等)預測結果的指導下，從預先錄制標注好的標準語音庫中搜尋全局最優的合成單元，利用特定的波形生成技術(如TD-PSOLA算法)對選中的語音段進行韻律特性的調整和修改，最終拼接合成出符合要求的語音。

經過近十幾年的研究，現階段的語音合成系統合成的語音質量已經達到了實用的程度，其中可懂度已經能夠滿足應用的實際需要，但是自然度還不夠高，與人的自然語音仍舊有很大的差距。

現階段的語音合成系統大多采用基于大規模語音數據庫的拼接合成技術，即，以概率統計的方法，在預測得到的韻律參數指導下，從預錄語音庫中搜尋對于輸入文本來說符合全局最優的合成單元，然后根據預測韻律參數進行波形調整的拼接合成。

一般來說，語音合成系統包括以下三個模塊：文本分析模塊、韻律參數預測模塊、后端合成模塊。漢語文本分析模塊的功能包括分詞、詞性標注、注音、韻律結構預測等。韻律參數預測模塊在文本分析結果的基礎上進行音長、基頻、能量等聲學參數的預測。后端合成模塊一般由單元選取子模塊和波形生成子模塊組成，其中，單元選取子模塊在韻律參數的指導下通過概率統計的方法從語音庫中搜尋對于輸入文本來說符合全局最優的合成單元，波形生成子模塊利用特定的波形生成技術(如TD-PSOLA算法)對選取的語音段進行韻律特性的調整和修改，最終拼接合成出符合要求的語音。

音長(音素長度)是最重要的韻律特征之一，它對于合成語音的感知自然度有著重要的意義。音長的變化可以有助于人們對于音素本身的認知，同時也有助于人們在一個連續的語流中能夠確定詞、短語的劃分，從而提高語音的自然度和可懂度。

基頻也是最重要的韻律特征之一，它對于漢語尤其重要，因為漢語是有聲調的語言。基頻對于合成語音的感知自然度、可懂度有著重要的意義。

在自然語流中，音素的音長和基頻與該音素前后的語境是高度相關的。許多上下文的因素如音素自身的類型、前后音素的類型、前后韻律邊界等級、重讀與否等均對音素的時長和基頻都有著制約作用。音長預測研究和基頻預測研究的基本目的就是試圖去描述這些上下文因素對于音素時長和基頻的影響，從而提高語音合成系統的自然度。

但是，韻律參數預測受到很多方面的制約，除了本身模型建模存在的問題以外，還受到訓練數據有限、前端文本分析的準確性等多方面的制約。雖然各種韻律參數預測技術試圖去考慮協同發音中存在的各種現象，但是合成語音的韻律節奏仍然無法做到像自然語音中那樣抑揚頓挫。

上述現階段的語音合成系統的關鍵缺陷在于重視了局部而忽視了整體，造成了合成的語句平白無力，毫無生氣，從而阻礙了目前的語音合成系統在有聲電子圖書市場等中得到廣泛的應用。

目前的有聲電子圖書市場都是使用真人來朗讀。要找到一個音色很美，同時能夠與富有感情的抑揚頓挫結合得很好的朗讀者是很困難的。如果找專業的播音員來完成錄音，那么成本一定會很高。