[發明專利]一種應用于TTS的語音轉換方法、裝置、設備及介質

在審

• 申請號: 202210797918.8
• 申請日: 2022-07-08
• 公開（公告）號: CN114882891A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 嵇望;曹禹;黃河
• 申請（專利權）人: 杭州遠傳新業科技股份有限公司
• 主分類號: G10L17/22
• 分類號: G10L17/22;G10L17/04;G10L25/18;G10L25/24;H04M3/51
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 劉宏全

1.一種應用于TTS的語音轉換方法，其特征在于，所述方法包括：

獲取實時語音，將所述實時語音的說話人記為第一說話人；

查詢所述TTS采用的說話人，記為第二說話人，并獲取與所述第一說話人、所述第二說話人相關聯的頻譜轉換模型；

提取所述實時語音的頻譜參數和基頻參數；

將所述實時語音的頻譜參數輸入所述頻譜轉換模型，得到與所述第二說話人對應的頻譜參數，記為第二頻譜參數；

將所述實時語音的基頻參數轉換為與所述第二說話人對應的基頻參數，記為第二基頻參數；

合成所述第二頻譜參數和所述第二基頻參數以得到待播語音，所述待播語音配合在所述TTS播放。

2.根據權利要求1所述的一種應用于TTS的語音轉換方法，其特征在于，所述頻譜參數包括：端點檢測信息、基音周期估計信息、梅爾頻率倒譜信息。

3.根據權利要求1所述的一種應用于TTS的語音轉換方法，其特征在于，在所述獲取實時語音之前，所述方法還包括：

自源語音庫獲取源語音，所述源語音庫與所述第一說話人對應；

自目標語音庫獲取目標語音，所述目標語音與所述第二說話人對應，且所述源語音與所述目標語音對應同一文本；

分別提取所述源語音和所述目標語音的頻譜參數，對應記為源頻譜參數和目標頻譜參數；

采用動態時間規整算法將所述源頻譜參數對齊于所述目標頻譜參數；

根據對齊后的源頻譜參數和目標頻譜參數訓練所述頻譜轉換模型，以得到所述源頻譜參數與所述目標頻譜參數之間的轉換關系。

4.根據權利要求3所述的一種應用于TTS的語音轉換方法，其特征在于，所述方法還包括：

將所述實時語音轉換為文本，記為待定文本；

將所述待定文本轉換為與所述第二說話人對應的語音，記為待定語音；

提取所述待定語音的頻譜參數；

判斷所述待定語音的頻譜參數與所述實時語音的頻譜參數之間的相似度是否符合要求，若否，則將所述實時語音配合放入所述源語音庫內，將所述待定語音放入所述目標語音庫內，并重新訓練所述頻譜轉換模型。

5.根據權利要求3所述的一種應用于TTS的語音轉換方法，其特征在于，所述頻譜轉換模型基于混合高斯模型建立。

6.根據權利要求5所述的一種應用于TTS的語音轉換方法，其特征在于，在得到待播語音之前，采用基于音素綁定的碼本映射算法對所述混合高斯模型中轉換函數的偏移量進行映射以重建丟失的細節。

7.根據權利要求1至6中任意一項所述的一種應用于TTS的語音轉換方法，其特征在于，在所述獲取實時語音之前，所述方法還包括：

獲取通話語音，所述通話語音采用PCM格式；

對所述通話語音進行分幀、加窗、分組處理，得到一組以上所述實時語音。

8.一種應用于TTS的語音轉換裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取實時語音，將所述實時語音的說話人記為第一說話人；

提取模塊，用于提取所述實時語音的頻譜參數和基頻參數；

查詢模塊，用于查詢所述TTS采用的說話人，記為第二說話人，并獲取與所述第一說話人、所述第二說話人相關聯的頻譜轉換模型；

頻譜轉換模塊，用于將所述實時語音的頻譜參數輸入所述頻譜轉換模型，得到與所述第二說話人對應的頻譜參數，記為第二頻譜參數；

基頻轉換模塊，用于將所述實時語音的基頻參數轉換為與所述第二說話人對應的基頻參數，記為第二基頻參數；

合成模塊，用于合成所述第二頻譜參數和所述第二基頻參數以得到待播語音，所述待播語音配合在所述TTS播放。

9.一種電子設備，其包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為執行所述計算機程序時實現權利要求1至7中任意一項所述的一種應用于TTS的語音轉換方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任意一項所述的一種應用于TTS的語音轉換方法。