[發明專利]構建個性化歌唱風格頻譜合成模型的方法及裝置

有效

• 申請號: 201410005753.1
• 申請日: 2014-01-06
• 公開（公告）號: CN104766603B
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 孫見青;王影;江源;凌震華;胡國平;胡郁
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02
• 代理公司: 北京維澳專利代理有限公司 11252
• 代理人: 王立民;吉海蓮

本發明公開了一種構建個性化歌唱風格頻譜合成模型的方法及裝置，該方法包括：訓練源發音人朗讀風格頻譜合成模型和歌唱風格頻譜合成模型；獲取目標發音人朗讀風格數據；根據所述源發音人朗讀風格頻譜合成模型及所述目標發音人朗讀風格數據，確定源發音人與目標發音人的音色轉換關系；根據所述音色轉換關系對所述源發音人歌唱風格頻譜合成模型進行模型轉換，得到目標發音人歌唱風格頻譜合成模型。本發明通過目標發音人少量朗讀風格數據即可得到其歌唱風格合成模型，大大降低了一般用戶構建歌唱合成模型的難度，進而有效地提高了個性化歌唱合成效果。

技術領域

本發明涉及語音合成技術領域，具體涉及一種構建個性化歌唱風格頻譜合成模型的方法及裝置。

背景技術

近年來，歌唱合成系統得到了廣泛的研究和應用，其中基于隱馬爾可夫模型(Hidden Markov Model，HMM)的參數合成系統以及基于波形拼接合成系統達到了實用標準。相比于基于波形拼接合成系統，基于HMM的參數合成方法對訓練數據量要求較少且系統規模較小，因而具有較好的實用價值。

基于參數合成的歌唱合成系統首先分別確定各基本合成單元(如音節，音素等)的時長參數序列、基頻參數序列以及頻譜參數序列，隨后再根據合成參數序列利用參數合成器得到連續歌唱信號。

傳統歌唱合成系統的構建通常是由固定發音人預先錄制歌曲語音，并據此訓練得到時長、基頻及頻譜的合成模型，并通過語音合成器構建歌唱合成系統。基于固定發音人數據構建的歌唱合成系統合成音色較為單一，而很多情況下用戶則希望用自己的音色或其指定的音色來合成歌曲，即希望合成歌曲具有個性化的音色特點。在個性化歌唱合成模型構建時，由于普通用戶很難收集到大量的歌唱數據且即使獲得了少量的歌曲數據，由于受演唱水平的影響、以及演唱者在演唱時或多或少會加入一些演繹成分，也很難獲得準確的標注信息(如下文所述的音素序列、韻律詞、韻律短語、音高和時值等信息)，對此，傳統的基于語音數據訓練得到的合成模型往往不夠正確，直接影響了合成效果。

針對個性化歌唱合成的應用需求，以及存在的訓練歌唱數據不足及標注不夠準確的問題，有研究人員提出直接采用個性化朗讀風格的頻譜模型作為歌唱頻譜合成模型。由于語音數據最重要的控制參數基頻和頻譜具有較強的相關性，如果將一種風格語音的基頻與另一種風格語音的頻譜共同合成語音，則會由于基頻與頻譜不搭配而導致生成的語音不自然。顯然，朗讀風格語音與歌唱風格語音存在較大的差別，其中歌唱風格語音基頻范圍跨度很大，而朗讀風格語音基頻范圍跨度相對較小，如果使用朗讀風格合成模型生成頻譜，而根據歌曲簡譜得到基頻，則會引入較明顯的基頻和頻譜搭配性問題，使得合成的語音聽起來自然度較低。顯然合理解決基頻參數和頻譜參數匹配的問題，獲得歌唱風格的個性化頻譜合成模型是提高歌唱合成效果的關鍵。

發明內容

本發明提供一種構建個性化歌唱風格頻譜合成模型的方法及裝置，以解決歌唱風格的個性化頻譜合成模型構建中存在的訓練歌唱數據不足及標注不夠準確的問題，滿足個性化歌唱合成的應用需求。

為此，本發明提供如下技術方案：

一種構建個性化歌唱風格頻譜合成模型的方法，包括：

訓練源發音人朗讀風格頻譜合成模型和歌唱風格頻譜合成模型，其中所述頻譜合成模型包括頻譜參數模型及對應的決策樹；

獲取目標發音人朗讀風格數據；

根據所述源發音人朗讀風格頻譜合成模型及所述目標發音人朗讀風格數據，確定源發音人與目標發音人的音色轉換關系；

根據所述音色轉換關系對所述源發音人歌唱風格頻譜合成模型進行模型轉換，得到目標發音人歌唱風格頻譜合成模型。

優選地，所述訓練源發音人的朗讀風格頻譜合成模型和歌唱風格頻譜合成模型包括：

獲取源發音人的朗讀風格語音數據和歌唱風格語音數據，并對所述語音數據進行標注；