[發(fā)明專(zhuān)利]一種語(yǔ)音合成方法、裝置以及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110267221.5
• 申請(qǐng)日: 2021-03-11
• 公開(kāi)（公告）號(hào): CN112687259B
• 公開(kāi)（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 鄭藝斌;李新輝;盧鯉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類(lèi)號(hào): G10L13/027
• 分類(lèi)號(hào): G10L13/027
• 代理公司: 廣州三環(huán)專(zhuān)利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);杜維

1.一種語(yǔ)音合成方法，其特征在于，包括：

將文本輸入序列轉(zhuǎn)換為文本特征表示序列；

將所述文本特征表示序列輸入包含N層編碼層的編碼器；所述N層編碼層中包括編碼層E_i以及編碼層E_i+1，所述編碼層E_i+1為所述編碼層E_i的下一層編碼層，N為大于1的整數(shù)，i為正整數(shù)，且i小于N；所述編碼層E_i+1包括第一多頭自注意力網(wǎng)絡(luò)；

獲取所述編碼層E_i輸出的第一注意力矩陣以及歷史文本編碼序列，根據(jù)所述第一注意力矩陣與所述第一多頭自注意力網(wǎng)絡(luò)之間的殘差連接以及所述歷史文本編碼序列，生成所述編碼層E_i+1的第二注意力矩陣；

根據(jù)所述第二注意力矩陣以及所述歷史文本編碼序列生成所述編碼層E_i+1的當(dāng)前文本編碼序列，當(dāng)所述當(dāng)前文本編碼序列為第N層編碼層的文本編碼序列時(shí)，將所述當(dāng)前文本編碼序列確定為目標(biāo)文本編碼序列，基于所述目標(biāo)文本編碼序列生成與所述文本輸入序列相匹配的合成語(yǔ)音數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一多頭自注意力網(wǎng)絡(luò)包括至少兩個(gè)第一單頭自注意力網(wǎng)絡(luò)；

所述獲取所述編碼層E_i輸出的第一注意力矩陣以及歷史文本編碼序列，根據(jù)所述第一注意力矩陣與所述第一多頭自注意力網(wǎng)絡(luò)之間的殘差連接以及所述歷史文本編碼序列，生成所述編碼層E_i+1的第二注意力矩陣，包括：

獲取所述編碼層E_i輸出的第一注意力矩陣以及歷史文本編碼序列；所述歷史文本編碼序列包括所述至少兩個(gè)第一單頭自注意力網(wǎng)絡(luò)分別對(duì)應(yīng)的第一匹配矩陣；

獲取所述第一多頭自注意力網(wǎng)絡(luò)對(duì)應(yīng)的第一映射矩陣，根據(jù)所述第一映射矩陣、所述第一匹配矩陣與所述第一注意力矩陣之間的殘差連接，生成所述至少兩個(gè)第一單頭自注意力網(wǎng)絡(luò)分別對(duì)應(yīng)的子注意力矩陣；

將至少兩個(gè)子注意力矩陣進(jìn)行拼接，得到所述編碼層E_i+1的第二注意力矩陣。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述編碼層E_i+1包括第一卷積網(wǎng)絡(luò)；

所述根據(jù)所述第二注意力矩陣以及所述歷史文本編碼序列生成所述編碼層E_i+1的當(dāng)前文本編碼序列，包括：

將所述第二注意力矩陣以及所述歷史文本編碼序列進(jìn)行相乘，得到第一中間編碼序列；

對(duì)所述第一中間編碼序列和所述歷史文本編碼序列進(jìn)行殘差連接以及歸一化處理，得到第二中間編碼序列，將所述第二中間編碼序列輸入所述第一卷積網(wǎng)絡(luò)，得到第三中間編碼序列；

對(duì)所述第三中間編碼序列和所述第二中間編碼序列進(jìn)行殘差連接以及歸一化處理，得到所述編碼層E_i+1的當(dāng)前文本編碼序列。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述目標(biāo)文本編碼序列生成與所述文本輸入序列相匹配的合成語(yǔ)音數(shù)據(jù)，包括：

將所述目標(biāo)文本編碼序列輸入時(shí)長(zhǎng)預(yù)測(cè)器，獲取所述文本輸入序列對(duì)應(yīng)的預(yù)測(cè)時(shí)長(zhǎng)序列；

將所述目標(biāo)文本編碼序列輸入長(zhǎng)度調(diào)節(jié)器，在所述長(zhǎng)度調(diào)節(jié)器中，根據(jù)所述預(yù)測(cè)時(shí)長(zhǎng)序列對(duì)所述目標(biāo)文本編碼序列進(jìn)行序列長(zhǎng)度拓展，得到拓展后的目標(biāo)文本編碼序列；

將所述拓展后的目標(biāo)文本編碼序列輸入包含N層解碼層的解碼器，生成目標(biāo)語(yǔ)音解碼序列；

將所述目標(biāo)語(yǔ)音解碼序列輸入第一線(xiàn)性輸出層，在所述第一線(xiàn)性輸出層中，對(duì)所述目標(biāo)語(yǔ)音解碼序列進(jìn)行線(xiàn)性變換，得到聲學(xué)特征序列；

對(duì)所述聲學(xué)特征序列進(jìn)行聲學(xué)特征轉(zhuǎn)換，得到與所述文本輸入序列相匹配的合成語(yǔ)音數(shù)據(jù)。