[發明專利]用音節上的多項式表示音高輪廓的數據庫及韻律產生方法

有效

• 申請號: 201510114092.0
• 申請日: 2015-03-16
• 公開（公告）號: CN104934030B
• 公開（公告）日: 2018-12-25
• 發明（設計）人: 陳成鈞
• 申請（專利權）人: 紐約市哥倫比亞大學理事會
• 主分類號: G10L13/10
• 分類號: G10L13/10
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 劉倜

本發明把每個音節中心附近的音高輪廓展開成多項式，用多項式的系數作為音節的音高輪廓參數。音節中心附近的音高輪廓展開的多項式的系數，是從語音數據庫中提取。語音數據庫通過將每一個單詞的信息和上下文信息與每個音節的所述多項式展開系數相關聯形成。為了產生與輸入文本對應的韻律，首先對輸入文本的每一個單詞和上下文進行分析。通過查找相關的數據庫，找出每個音節的最佳的音高參數，加上了與句子和短語類型相應的全局音高輪廓，然后用內插公式來生成輸入文本的完整音高輪廓。每個音節的長度和強度分布也用類似的方法產生。

本專利申請是題為“語音合成系統和方法”的美國專利8719030的部分延續。

技術領域

本發明一般地涉及語音合成，尤其涉及用于語音合成的韻律產生方法。

背景技術

語音合成(TTS)，是用計算機把書面文件轉換成可聽見的語音的方法和系統。一個良好的TTS系統應該可以產生自然的、高度清晰的語音。最初，TTS系統是以規則為基礎的，也叫做共振峰合成法。這些系統產生的語音清晰，但聲音像機器人，不自然。

為了產生自然的語音，單元選擇語音合成系統發明了。該系統需要準備大量講話的錄音。在合成過程中，輸入文本首先被轉換成語音版本，分割成小塊，然后從錄制的語音庫找到相配的小段語音，拼接在一起。顯然，要適應任意的輸入文字，語音庫必須非常巨大。說話風格也難以改變。因此，幾十年來，人們一直在尋找可既有共振峰系統小型和多功能的特點，又有單元選擇系統發音自然的優點的語音合成系統。

在一個相關的美國專利8719030中，公開了使用音色矢量的語音合成系統和方法。音色矢量是一種高度準確的語音信號的參數化方法。從轉化成音色矢量的語音庫出發，語音信號可以進行很大程度的修改而再生，而且質量非常接近原始語音。音高輪廓，強度分布，每個音段的長度，都可以任意更動。然而，美國專利8719030中，沒有提到韻律產生的系統和方法。本發明公開了根據輸入文本產生韻律的系統和方法。

發明內容

本發明公開的韻律產生方法，是把每個音節中心附近的音高輪廓展開成多項式，用多項式的系數作為音節的音高輪廓參數，疊加在不同類型的短語或句子的整體音高輪廓上，形成完整的音高輪廓的方法。整個短語或句子的音高輪廓是通過對每個音節的中心使用較高階的音高輪廓多項式表示，生成一個連接鄰近音節邊界的多項式。音節中心附近的音高輪廓展開的多項式的系數，是從語音數據庫中提取。以上所說的語音數據庫，是通過朗讀一個文本中的多個句子而形成。語音數據庫通過將每一個單詞的信息和上下文信息與每個音節的所述多項式展開系數相關聯形成。為了產生與輸入文本對應的韻律，首先對輸入文本的每一個單詞和上下文進行分析。通過查找相關的數據庫，找出每個音節的最佳的音高參數，加上了與句子和短語類型的相應的全局音高輪廓，然后使用內插公式來生成輸入文本的完整音高輪廓。每個音節的長度和強度分布也用類似的方法產生。

現有技術的韻律生成系統的一個普遍問題是，由于只有濁音段才有音高，清輔音和靜音段沒有音高，語音數據的句子的音高信號總是不連續的和不完整的。另一方面，在合成步驟中，因為清音段和靜音段沒有音高值，預測的音高輪廓也是不連續的和不完整的。在本發明中，在音高輪廓預測的數據庫中，只有在和靠近每個音節的中心的音高數值才是必需的。為了產生輸入文本的音高輪廓，第一步驟是對每個音節中心區段生成多項式展開系數。在這里，音高總是存在的。然后，整個句子的音高值是使用一組數學公式由內插產生。如果音節的端部的輔音是濁音，如N，M，Z，等，音高值的延續自然是有用的。如果輔音在音節的端部是清音，如S，T，K，同樣的內插過程也產生一組完整的音高標記。在清音段和靜音段中的那些音高標記，對基于音色矢量的語音合成方法很重要，見美國專利8719030。