[發(fā)明專利]個性化語音合成方法、裝置、電子設(shè)備、存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911340068.3
• 申請日: 2019-12-23
• 公開（公告）號: CN111161702B
• 公開（公告）日: 2022-08-26
• 發(fā)明（設(shè)計）人: 張堅;張坤雷;陳學(xué)文
• 申請（專利權(quán)）人: 愛馳汽車有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08;G10L19/16;G10L25/12;G10L25/30;G10L25/24
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 王思楠

1.一種個性化語音合成方法，其特征在于，包括：

步驟S110：將輸入的中文文本轉(zhuǎn)換成完全編碼的特征序列；

步驟S120：將完全編碼的特征序列轉(zhuǎn)換為固定長度的語境向量；

步驟S130：將固定長度的語境向量轉(zhuǎn)換為基準(zhǔn)梅爾倒譜序列，所述基準(zhǔn)梅爾倒譜序列為基準(zhǔn)發(fā)音人的梅爾倒譜序列；

步驟S140：將所述基準(zhǔn)梅爾倒譜序列轉(zhuǎn)換為目標(biāo)梅爾倒譜序列，所述目標(biāo)梅爾倒譜序列為目標(biāo)發(fā)音人的梅爾倒譜序列；

步驟S150：將所述目標(biāo)梅爾倒譜序列轉(zhuǎn)換為目標(biāo)發(fā)音人的語音信號；

所述步驟S130由一解碼器執(zhí)行，所述解碼器包括解碼器長短時記憶模塊、預(yù)網(wǎng)絡(luò)模塊、線性投影模塊及后網(wǎng)絡(luò)模塊，其中，所述預(yù)網(wǎng)絡(luò)模塊的輸出和所述語境向量串聯(lián)輸入所述解碼器長短時記憶模塊，所述解碼器長短時記憶模塊的輸出輸入所述線性投影模塊以實現(xiàn)語音信號頻譜的重構(gòu)，所述線性投影模塊的輸出輸入所述后網(wǎng)絡(luò)模塊，所述后網(wǎng)絡(luò)模塊的輸出及所述線性投影模塊的輸出經(jīng)由歸一化處理以獲得所述基準(zhǔn)梅爾倒譜序列。

2.如權(quán)利要求1所述的個性化語音合成方法，其特征在于，所述步驟S110由一編碼器執(zhí)行，所述編碼器包括：

文本轉(zhuǎn)拼音模塊，用于將輸入的中文文本轉(zhuǎn)換為拼音序列；

字符嵌入模塊，用于將所述拼音序列轉(zhuǎn)換為特征向量；

編碼卷積模塊及雙向長短時記憶模塊，用于將所述特征向量轉(zhuǎn)換為完全編碼的特征序列。

3.如權(quán)利要求2所述的個性化語音合成方法，其特征在于，所述編碼卷積模塊自輸入至輸出依次包括三層第一卷積層，每個第一卷積層包括256個卷積核，每個卷積核包括一個第一修正線性單元，每個卷積核的大小為5*1；

所述雙向長短時記憶模塊的每個方向包括128個長短時記憶單元。

4.如權(quán)利要求1所述的個性化語音合成方法，其特征在于，所述步驟S120將完全編碼的特征序列通過32個長度為31的一維卷積核，以將所述特征序列映射至固定長度的語境向量。

5.如權(quán)利要求1所述的個性化語音合成方法，其特征在于，

所述解碼器長短時記憶模塊包括兩個長短時記憶單元層，每個長短時記憶單元層包括512個長短時記憶單元；

所述預(yù)網(wǎng)絡(luò)模塊包括兩層全連接層，每層全連接層128個輸出節(jié)點及128個第二線性修正單元；

所述后網(wǎng)絡(luò)模塊包括五層第二卷積層組成，每層第二卷積層包含256個5*1的卷積核。

6.如權(quán)利要求1所述的個性化語音合成方法，其特征在于，所述步驟S140通過GMM模型將所述基準(zhǔn)梅爾倒譜序列轉(zhuǎn)換為目標(biāo)梅爾倒譜序列，所述GMM模型通過基準(zhǔn)發(fā)音人的基準(zhǔn)語音樣本及目標(biāo)發(fā)言人的目標(biāo)語音樣本進(jìn)行訓(xùn)練。

7.如權(quán)利要求6所述的個性化語音合成方法，其特征在于，所述基準(zhǔn)發(fā)音人的基準(zhǔn)語音樣本及目標(biāo)發(fā)言人的目標(biāo)語音樣本經(jīng)由動態(tài)時間規(guī)整算法對齊后，采用最大期望算法對對齊后的所述基準(zhǔn)語音樣本的梅爾倒譜序列及目標(biāo)發(fā)言人的目標(biāo)語音樣本的梅爾倒譜序列進(jìn)行混合高斯建模。

8.一種個性化語音合成裝置，其特征在于，包括：

編碼器模塊，用于將輸入的中文文本轉(zhuǎn)換成完全編碼的特征序列；

位置敏感注意力模塊，用于將完全編碼的特征序列轉(zhuǎn)換為固定長度的語境向量；

解碼器模塊，用于將固定長度的語境向量轉(zhuǎn)換為基準(zhǔn)梅爾倒譜序列，所述基準(zhǔn)梅爾倒譜序列為基準(zhǔn)發(fā)音人的梅爾倒譜序列；

語音特征向量轉(zhuǎn)換模塊，用于將所述基準(zhǔn)梅爾倒譜序列轉(zhuǎn)換為目標(biāo)梅爾倒譜序列，所述目標(biāo)梅爾倒譜序列為目標(biāo)發(fā)音人的梅爾倒譜序列；

聲碼器模塊，用于將所述目標(biāo)梅爾倒譜序列轉(zhuǎn)換為目標(biāo)發(fā)音人的語音信號；

所述解碼器模塊，具體包括解碼器長短時記憶模塊、預(yù)網(wǎng)絡(luò)模塊、線性投影模塊及后網(wǎng)絡(luò)模塊，所述預(yù)網(wǎng)絡(luò)模塊的輸出和所述語境向量串聯(lián)輸入所述解碼器長短時記憶模塊，所述解碼器長短時記憶模塊的輸出輸入所述線性投影模塊以實現(xiàn)語音信號頻譜的重構(gòu)，所述線性投影模塊的輸出輸入所述后網(wǎng)絡(luò)模塊，所述后網(wǎng)絡(luò)模塊的輸出及所述線性投影模塊的輸出經(jīng)由歸一化處理以獲得所述基準(zhǔn)梅爾倒譜序列。