[發明專利]跨語言語音轉換方法、裝置、設備及介質

在審

• 申請號: 202110602042.2
• 申請日: 2021-05-31
• 公開（公告）號: CN113345431A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 倪子凡;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L15/16
• 分類號: G10L15/16;G10L15/06;G10L15/00;G10L13/027;G10L25/24
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 涂年影

1.一種跨語言語音轉換方法，其特征在于，所述跨語言語音轉換方法包括：

獲取預先配置的多個目標語言，并調用與所述多個目標語言相對應的多個通用語料庫；

提取每個通用語料庫中語料的梅爾頻率倒譜系數MFCC作為訓練數據，并分別訓練對應于每個目標語言的自動語音識別ASR模型；

調用文本轉換TTS語料庫，并從所述TTS語料庫中獲取所述TTS語料庫所存儲的每個語料的聲學語音參數；

提取每個語料的MFCC，將每個語料的MFCC分別輸入至每個目標語言的ASR模型，并獲取每個目標語言的ASR模型的輸出作為每個語料對應于每個目標語言的語音后驗概率PPG；

對每個語料對應于每個目標語言的PPG進行融合處理，得到每個語料的目標語音后驗概率PPGs；

將每個語料的PPGs確定為輸入，將每個語料的聲學語音參數確定為輸出，并訓練指定神經網絡模型，得到轉換模型；

當接收到待處理語音時，利用每個目標語言的ASR模型生成所述待處理語音的PPGs；

將所述待處理語音的PPGs輸入至所述轉換模型，并獲取所述轉換模型的輸出作為所述待處理語音的聲學語音參數；

啟動聲碼器根據所述待處理語音的聲學語音參數合成語音。

2.如權利要求1所述的跨語言語音轉換方法，其特征在于，所述提取每個通用語料庫中語料的梅爾頻率倒譜系數MFCC包括：

將所述多個通用語料庫中的每個語料確定為目標語料；

對于每個目標語料，對所述目標語料進行預加重、分幀及加窗處理，得到第一語料；

對所述第一語料進行快速傅立葉變換，得到頻譜；

將所述頻譜輸入至梅爾濾波器組，得到梅爾頻譜；

在所述梅爾頻譜上進行倒譜分析，得到所述目標語料的MFCC。

3.如權利要求1所述的跨語言語音轉換方法，其特征在于，所述分別訓練對應于每個目標語言的自動語音識別ASR模型包括：

語料劃分：將每個目標語言對應的通用語料庫中的語料按照預設比例隨機劃分為第一語料集和第二語料集；

模型訓練：將所述第一語料集確定為訓練集訓練模型，并將所述第二語料集確定為驗證集驗證訓練得到的模型；

重復執行所述語料劃分及所述模型訓練，直至每個目標語言對應的通用語料庫中的語料都作為所述訓練集中的數據訓練過模型，且每個目標語言對應的通用語料庫中的語料都作為所述驗證集中的數據驗證過訓練得到的模型，停止訓練，得到所述對應于每個目標語言的ASR模型。

4.如權利要求1所述的跨語言語音轉換方法，其特征在于，所述TTS語料庫所存儲的每個語料的聲學語音參數包括：梅爾倒譜系數MCEP、基頻LF0及波段非周期性BAP。

5.如權利要求1所述的跨語言語音轉換方法，其特征在于，所述對每個語料對應于每個目標語言的PPG進行融合處理，得到每個語料的目標語音后驗概率PPGs包括：

對每個語料對應于每個目標語言的PPG進行按位相加運算，得到每個語料的目標語音后驗概率PPGs。

6.如權利要求1所述的跨語言語音轉換方法，其特征在于，所述將每個語料的PPGs確定為輸入，將每個語料的聲學語音參數確定為輸出，并訓練指定神經網絡模型，得到轉換模型包括：

將每個語料的PPGs輸入至深度神經網絡，并將每個語料的聲學語音參數作為訓練目標進行訓練；

在訓練過程中，不斷計算所述深度神經網絡的準確率；

當所述準確率大于或者等于配置準確率時，停止訓練，得到所述轉換模型。

7.如權利要求1所述的跨語言語音轉換方法，其特征在于，所述利用每個目標語言的ASR模型生成所述待處理語音的PPGs包括：

提取所述待處理語音的MFCC；

將所述待處理語音的MFCC分別輸入每個目標語言的ASR模型；

獲取每個目標語言的ASR模型的輸出作為所述待處理語音對應于每個目標語言的PPG；

融合所述待處理語音對應于每個目標語言的PPG，得到所述待處理語音的PPGs。