[發(fā)明專利]文本轉(zhuǎn)語音方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111130534.2
• 申請日: 2021-09-26
• 公開（公告）號: CN113851108A
• 公開（公告）日: 2021-12-28
• 發(fā)明（設(shè)計(jì)）人: 張旭龍;王健宗
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/033;G10L25/27;G10L25/03
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 譚果林

1.一種文本轉(zhuǎn)語音方法，其特征在于，包括：

從音色數(shù)據(jù)庫中獲取音色信息，并從客戶端獲取用戶輸入的目標(biāo)文本，對所述目標(biāo)文本和所述音色信息進(jìn)行預(yù)處理，得到第一復(fù)合信息；

將所述第一復(fù)合信息輸入注意力層，通過所述注意力層中的注意力網(wǎng)絡(luò)模型對所述第一復(fù)合信息的復(fù)合特征進(jìn)行提取，得到所述注意力層輸出的第二復(fù)合信息；

將所述第二復(fù)合信息輸入音色分類器，通過所述音色分類器對所述第二復(fù)合信息進(jìn)行音色識(shí)別，判斷所述第二復(fù)合信息是否為目標(biāo)音；

若所述第二復(fù)合信息為目標(biāo)音，則通過語音生成器對所述第二復(fù)合信息進(jìn)行解碼，得到與所述二復(fù)合信息對應(yīng)的梅爾譜圖，并對所述梅爾譜圖進(jìn)行逆處理，生成與所述目標(biāo)文本對應(yīng)的語音信息。

2.如權(quán)利要求1所述的文本轉(zhuǎn)語音方法，其特征在于，所述對所述目標(biāo)文本和所述音色信息進(jìn)行預(yù)處理，得到第一復(fù)合信息，包括：

將所述目標(biāo)文本輸入文本編碼器，通過所述文本編碼器將所述目標(biāo)文本轉(zhuǎn)換為文本矩陣；

將所述音色信息輸入預(yù)設(shè)深度網(wǎng)絡(luò)模型，通過所述預(yù)設(shè)深度網(wǎng)絡(luò)模型將所述音色信息轉(zhuǎn)換為音色矩陣；

將所述音色矩陣嵌入所述文本矩陣，得到第一復(fù)合信息。

3.如權(quán)利要求1所述的文本轉(zhuǎn)語音方法，其特征在于，所述對所述目標(biāo)文本和所述音色信息進(jìn)行預(yù)處理，還包括：

接收目標(biāo)語言設(shè)置指令；

根據(jù)所述目標(biāo)語言設(shè)置指令對語言種類進(jìn)行設(shè)置，得到目標(biāo)語言，將所述目標(biāo)語言存儲(chǔ)在存儲(chǔ)器中；

將原始文本轉(zhuǎn)換為與所述目標(biāo)語言對應(yīng)的所述目標(biāo)文本。

4.如權(quán)利要求1所述的文本轉(zhuǎn)語音方法，其特征在于，所述將所述第一復(fù)合信息輸入注意力層，通過所述注意力層中的注意力網(wǎng)絡(luò)模型對所述第一復(fù)合信息的復(fù)合特征進(jìn)行提取，得到所述注意力層輸出的第二復(fù)合信息，包括：

將所述第一復(fù)合信息輸入注意力層；

通過所述注意力網(wǎng)絡(luò)模型對所述第一復(fù)合信息中上下文語義信息進(jìn)行融合，提取所述第一復(fù)合信息的復(fù)合特征，得到所述注意力層輸出的第二復(fù)合信息。

5.如權(quán)利要求1所述的文本轉(zhuǎn)語音方法，其特征在于，所述若所述第二復(fù)合信息為目標(biāo)音，則通過語音生成器對所述第二復(fù)合信息進(jìn)行解碼，得到與所述二復(fù)合信息對應(yīng)的梅爾譜圖，并對所述梅爾譜圖進(jìn)行逆處理，生成與所述目標(biāo)文本對應(yīng)的語音信息，包括：

在所述為第二復(fù)合信息為目標(biāo)音時(shí)，通過基于神經(jīng)網(wǎng)絡(luò)的聲碼器將所述第二復(fù)合信息進(jìn)行解碼為梅爾譜圖；

通過預(yù)設(shè)變換規(guī)則，對所述梅爾譜圖進(jìn)行逆處理，生成與所述目標(biāo)文本對應(yīng)的語音信息。

6.如權(quán)利要求1所述的文本轉(zhuǎn)語音方法，其特征在于，所述通過所述音色分類器對所述第二復(fù)合信息進(jìn)行音色識(shí)別，判斷所述第二復(fù)合信息是否為目標(biāo)音之后，包括：

若所述第二復(fù)合信息不是目標(biāo)音，根據(jù)所述第二復(fù)合信息生成反饋信息；

將所述反饋信息發(fā)送至所述語音生成器，以使所述語音生成器減少對所述第二復(fù)合信息的處理。

7.如權(quán)利要求1所述的文本轉(zhuǎn)語音方法，其特征在于，所述通過所述音色分類器對所述第二復(fù)合信息進(jìn)行音色識(shí)別，判斷所述第二復(fù)合信息是否為目標(biāo)音之后，還包括：

若所述第二復(fù)合信息不是目標(biāo)音，則獲取新的音色信息，對所述目標(biāo)文本和所述新的音色信息進(jìn)行預(yù)處理，得到新的第一復(fù)合信息；

將所述新的第一復(fù)合信息輸入注意力層，得到所述注意力層輸出的新的第二復(fù)合信息；

將所述新的第二復(fù)合信息輸入音色分類器，通過所述音色分類器判斷所述新的第二復(fù)合信息是否為目標(biāo)音；

若所述新的第二復(fù)合信息為目標(biāo)音，則通過語音生成器處理所述新的第二復(fù)合信息，生成與所述目標(biāo)文本對應(yīng)的語音信息。