[發(fā)明專利]語音合成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110593375.3
• 申請(qǐng)日: 2021-05-28
• 公開（公告）號(hào): CN113327573A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 張旭龍;王健宗
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G10L13/047
• 分類號(hào): G10L13/047;G10L25/24
• 代理公司: 深圳市力道知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44507
• 代理人: 張傳義

1.一種語音合成方法，其特征在于，所述方法包括：

利用空間快速含糊網(wǎng)絡(luò)模型對(duì)高采樣的音頻信號(hào)進(jìn)行分析，得到第一梅爾頻譜；

將所述第一梅爾頻譜的頻段劃分為若干個(gè)頻段，分別確定劃分之后各個(gè)頻段的第二梅爾頻譜；

將各個(gè)所述第二梅爾頻譜分別輸入所述空間快速含糊網(wǎng)絡(luò)模型中進(jìn)行識(shí)別，生成第三梅爾頻譜；

將各個(gè)所述第三梅爾頻譜分別輸入語音生成模型中進(jìn)行分析，得到第一音頻波形；

將所述第一音頻波形劃分為若干個(gè)不同長(zhǎng)度的第二音頻波形，將各個(gè)所述第二音頻波形分別輸入所述語音生成模型中進(jìn)行識(shí)別，得到語音合成信號(hào)。

2.根據(jù)權(quán)利要求1所述的語音合成方法，其特征在于，所述空間快速含糊網(wǎng)絡(luò)模型包括若干個(gè)第一對(duì)抗網(wǎng)絡(luò)；所述將各個(gè)所述第二梅爾頻譜分別輸入所述空間快速含糊網(wǎng)絡(luò)模型中進(jìn)行識(shí)別，生成第三梅爾頻譜，包括：

將各個(gè)所述第二梅爾頻譜分別輸入所述空間快速含糊網(wǎng)絡(luò)模型中，在所述空間快速含糊網(wǎng)絡(luò)模型中分別為各個(gè)所述第二梅爾頻譜分配各自對(duì)應(yīng)的第一對(duì)抗網(wǎng)絡(luò)；

基于各個(gè)所述第一對(duì)抗網(wǎng)絡(luò)，分別對(duì)各個(gè)所述第二梅爾頻譜進(jìn)行識(shí)別，生成第三梅爾頻譜。

3.根據(jù)權(quán)利要求2所述的語音合成方法，其特征在于，所述空間快速含糊網(wǎng)絡(luò)模型還包括前饋網(wǎng)絡(luò)、時(shí)間預(yù)測(cè)器和長(zhǎng)度調(diào)節(jié)器；所述利用空間快速含糊網(wǎng)絡(luò)模型對(duì)高采樣的音頻信號(hào)進(jìn)行分析，得到第一梅爾頻譜，包括：

基于所述前饋網(wǎng)絡(luò)的注意力機(jī)制對(duì)所述高采樣的音頻信號(hào)進(jìn)行音素頻譜圖序列預(yù)測(cè)，基于所述時(shí)間預(yù)測(cè)器對(duì)所述高采樣的音頻信號(hào)進(jìn)行音素持續(xù)時(shí)間預(yù)測(cè)，基于所述長(zhǎng)度調(diào)節(jié)器對(duì)預(yù)測(cè)的音素頻譜圖序列的長(zhǎng)度和預(yù)測(cè)的音素持續(xù)時(shí)間的長(zhǎng)度分別進(jìn)行調(diào)節(jié)，得到所述第一梅爾頻譜。

4.根據(jù)權(quán)利要求2所述的語音合成方法，其特征在于，所述第一對(duì)抗網(wǎng)絡(luò)包括第一生成器和第一辨別器；

所述基于各個(gè)所述第一對(duì)抗網(wǎng)絡(luò)，分別對(duì)各個(gè)所述第二梅爾頻譜進(jìn)行識(shí)別，生成第三梅爾頻譜，包括：

針對(duì)任意所述第一對(duì)抗網(wǎng)絡(luò)，基于該第一對(duì)抗網(wǎng)絡(luò)的第一生成器擬合輸入該第一對(duì)抗網(wǎng)絡(luò)的所述第二梅爾頻譜，基于該第一對(duì)抗網(wǎng)絡(luò)的第一辨別器，對(duì)擬合的第二梅爾頓譜進(jìn)行識(shí)別，若識(shí)別結(jié)果為真，則確定擬合后的第二梅爾頻譜為當(dāng)前第一對(duì)抗網(wǎng)絡(luò)生成的第三梅爾頻譜。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的語音合成方法，其特征在于，所述語音生成模型為基于流的生成網(wǎng)絡(luò)模型，所述將各個(gè)所述第三梅爾頻譜輸入語音生成模型中進(jìn)行分析，得到第一音頻波形，包括：

將各個(gè)所述第三梅爾頻譜輸入基于流的生成網(wǎng)絡(luò)模型，在基于流的生成網(wǎng)絡(luò)模型中分析以所述第三梅爾頻譜為條件的音頻樣本的分布；

根據(jù)以所述第三梅爾頻譜為條件的音頻樣本的分布進(jìn)行音頻采樣，得到所述第一音頻波形。

6.根據(jù)權(quán)利要求5所述的語音合成方法，其特征在于，所述語音生成模型包括若干個(gè)第二對(duì)抗網(wǎng)絡(luò)；所述將各個(gè)所述第二音頻波形分別輸入所述語音生成模型中進(jìn)行識(shí)別，得到語音合成信號(hào)，包括：

將各個(gè)所述第二音頻波形分別輸入所述語音生成模型中，在所述語音生成模型中分別為各個(gè)所述第二音頻波形分配各自對(duì)應(yīng)的第二對(duì)抗網(wǎng)絡(luò)；

基于各個(gè)所述第二對(duì)抗網(wǎng)絡(luò)分別對(duì)各個(gè)所述第二音頻波形進(jìn)行識(shí)別，得到所述語音合成信號(hào)。

7.根據(jù)權(quán)利要求6所述的語音合成方法，其特征在于，所述第二對(duì)抗網(wǎng)絡(luò)包括第二生成器和第二辨別器；

所述基于各個(gè)所述第二對(duì)抗網(wǎng)絡(luò)分別對(duì)各個(gè)所述第二音頻波形進(jìn)行識(shí)別，得到所述語音合成信號(hào)，包括：

針對(duì)任意所述第二對(duì)抗網(wǎng)絡(luò)，基于該第二對(duì)抗網(wǎng)絡(luò)的第二生成器擬合輸入該第二對(duì)抗網(wǎng)絡(luò)的所述第二音頻波形，基于該第二對(duì)抗網(wǎng)絡(luò)的第二辨別器，對(duì)擬合的第二音頻波形進(jìn)行識(shí)別，若識(shí)別結(jié)果為真，則確定擬合后的第二音頻波形對(duì)應(yīng)的語音信號(hào)為當(dāng)前第二對(duì)抗網(wǎng)絡(luò)生成的語音合成信號(hào)。