[發明專利]一種模擬用戶歌聲的語音合成系統及方法

有效

• 申請號: 201711079095.0
• 申請日: 2017-11-06
• 公開（公告）號: CN108053814B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 孟猛
• 申請（專利權）人: 芋頭科技（杭州）有限公司
• 主分類號: G10H1/00
• 分類號: G10H1/00
• 代理公司: 北京市競天公誠律師事務所 11770
• 代理人: 陳果

1.一種模擬用戶歌聲的語音合成系統，適用于語音模擬應用中；其特征在于，包括：

第一獲取單元，用于獲取外部輸入的用戶正常說話時的用戶語音；

第一轉換單元，連接所述第一獲取單元，用于將所述用戶語音轉換成對應的發音文本，以及根據所述發音文本形成對應的包括基本音子的音子序列；

第一處理單元，連接所述第一轉換單元，用于根據所述音子序列處理得到每個所述基本音子對應的原始時段信息，所述原始時段信息用于表示每個所述基本音子在所述用戶語音中的起止時間；

第一合成單元，分別連接所述第一獲取單元和所述第一處理單元，用于根據所述用戶語音的基頻信息以及每個所述基本音子的所述原始時段信息分別處理得到所述用戶語音每個所述基本音子的語音合成參數；

第二獲取單元，用于獲取一預設的目標歌曲中的曲譜信息；

第二處理單元，分別連接所述第一處理單元和所述第二獲取單元，用于將每個所述基本音子的所述原始時段信息分別調整為對應所述曲譜信息的節拍時段信息，所述節拍時段信息用于表示每個所述基本音子在所述目標歌曲中對應的節拍中的起止時間；

第二合成單元，分別連接所述第一合成單元和所述第二處理單元，用于針對每個所述基本音子比較所述原始時段信息和所述節拍時段信息，并根據判斷結果相應調整每個所述基本音子的所述語音合成參數；

語音模擬單元，分別連接所述第二合成單元、第二獲取單元和所述第一轉換單元，用于根據每個所述基本音子的經過調整的所述語音合成參數以及所述發音文本，形成模擬用戶歌聲的合成語音并輸出。

2.如權利要求1所述的語音合成系統，其特征在于，所述第一處理單元采用維特比方法分別處理得到每個所述基本音子的所述原始時段信息。

3.如權利要求1所述的語音合成系統，其特征在于，所述曲譜信息中包括對應的所述目標歌曲的節拍信息，所述節拍信息用于表示對應的所述目標歌曲中每一節拍的時間信息，于一個所述節拍中包括一個或多個所述基本音子；

則所述第二處理單元根據所述節拍信息，分別將每個所述基本音子的所述原始時段信息調整為用于表示所述基本音子在所述目標歌曲中覆蓋的節拍數目所對應的時間的節拍時段信息。

4.如權利要求1所述的語音合成系統，其特征在于，所述第二合成單元具體包括：

判斷模塊，用于分別將每個所述基本音子的所述原始時段信息與所述節拍時段信息進行比較，并輸出相應的比較結果；

第一處理模塊，連接所述判斷模塊，用于根據所述比較結果：

在所述比較結果表示所述原始時段信息表示的時間長度短于所述節拍時段信息表示的時間長度時，對所述基本音子對應的所述語音合成參數執行時間域上的插值處理，以得到對應所述基本音子的經過調整的所述語音合成參數；以及

在所述比較結果表示所述原始時段信息表示的時間長度長于所述節拍時段信息表示的時間長度時，對所述基本音子對應的所述語音合成參數執行時間域上的抽減處理，以得到對應所述基本音子的經過調整的所述語音合成參數。

5.如權利要求4所述的語音合成系統，其特征在于，所述第二合成單元中還包括：

第二處理模塊，連接所述第一處理模塊，用于對所述基本音子的所述語音合成參數進行調整之后，對所述語音合成參數進行平滑處理。

6.如權利要求1所述的語音合成系統，其特征在于，所述目標歌曲的所述曲譜信息中還包括用于所述目標歌曲的每個音符的曲調信息；

所述語音模擬單元中包括：

基頻替換模塊，用于采用所述曲調信息分別替換每個所述基本音子的所述語音合成參數中的基頻信息；

語音模擬模塊，連接所述基頻替換模塊，用于根據經過替換的所述語音合成參數和所述發音文本，形成模擬用戶歌聲的所述合成語音并輸出。