[發明專利]語音轉換方法、裝置及計算機系統

在審

• 申請號: 202010549934.6
• 申請日: 2020-06-16
• 公開（公告）號: CN113808576A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 趙勝奎;阮忠孝;王昊;馬斌
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L13/10
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 南海燕

1.一種語音轉換方法，其特征在于，包括：

從源發音者關聯的源語音文件中提取語音后驗圖譜PPG特征序列；

將所述PPG特征序列輸入到預先訓練獲得的聲學特征合成模型中，獲得目標發音者對應的聲學特征序列；其中，所述聲學特征合成模型是利用所述目標發音者對應的訓練語料訓練獲得的；在所述聲學特征合成模型中，針對輸入的PPG特征序列的編碼結果的每一幀分別進行解碼輸出；

根據所述目標發音者對應的聲學特征序列生成目標語音文件。

2.根據權利要求1所述的方法，其特征在于，

所述從源發音者關聯的源語音文件中提取與PPG特征序列，包括：

從所述源語音中提取梅爾頻率倒譜MFCC特征，并從所述MFCC特征中提取所述PPG特征。

3.根據權利要求2所述的方法，其特征在于，

所述從所述源語音中提取梅爾頻率倒譜MFCC特征，包括：

將所述源語音按照頻率的不同分成寬度不等的片段，并將多個片段的音頻能量進行疊加后生成所述MFCC特征。

4.根據權利要求1所述的方法，其特征在于，還包括：

從所述源語音中提取基頻特征信息；

在通過所述聲學特征合成模型中的編碼器獲得所述PPG特征的編碼結果后，將所述基頻特征信息與所述編碼結果進行拼接，將拼接結果輸入到聲學特征合成模型中的解碼器中進行解碼輸出，以彌補所述PPG特征中損失的韻律信息。

5.根據權利要求1所述的方法，其特征在于，

通過所述聲學特征合成模型對所述PPG特征序列中的多幀數據進行并行處理。

6.根據權利要求1所述的方法，其特征在于，

所述聲學特征合成模型輸出的聲學特征序列的長度與輸入的PPG特征序列的長度相等；

所述方法還包括：

通過對所述PPG特征序列的長度進行調整，對生成的目標語言進行改變語速的調整。

7.根據權利要求1至6任一項所述的方法，其特征在于，

所述聲學特征合成模型為編碼器與解碼器直連的模型結構。

8.根據權利要求7所述的方法，其特征在于，

所述編碼器與解碼器共同使用同一結構的網絡層。

9.根據權利要求8所述的方法，其特征在于，

所述同一結構的網絡層中包括多層一維的卷積神經網絡CNN以及一層長短期記憶網絡LSTM。

10.根據權利要求7所述的方法，其特征在于，

所述解碼器的后端還包括多層的一維CNN網絡，用于對所述解碼器的輸出進行增強或者彌補。

11.根據權利要求1至6任一項所述的方法，其特征在于，

所述根據所述目標發音者的聲學特征序列生成目標語音，包括：

將所述目標發音者的聲學特征序列輸入到預先訓練獲得的聲碼器模型中，獲得所述目標語言，其中，所述聲碼器模型是利用所述目標發音者對應的訓練語料訓練獲得的。

12.一種建立語音庫的方法，其特征在于，包括：

獲取源發音者關聯的源語音文件，以及根據目標發音者的訓練語料訓練獲得的聲學特征合成模型以及聲碼器模型；

從源發音者關聯的源語音文件中提取語音后驗圖譜PPG特征序列；

將所述PPG特征序列輸入到所述聲學特征合成模型中，獲得目標發音者的聲學特征序列；在所述聲學特征合成模型中，針對輸入的PPG特征序列編碼結果的每一幀分別進行解碼輸出；

將所述目標發音者的聲學特征序列輸入到所述聲碼器模型中生成目標語音文件；

將所述目標語音文件添加到語音庫中。