[發(fā)明專利]語音合成方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110605207.1
• 申請(qǐng)日: 2021-05-31
• 公開（公告）號(hào): CN113345412A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 張旭龍;王健宗
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G10L13/033
• 分類號(hào): G10L13/033;G10L13/08
• 代理公司: 深圳國(guó)新南方知識(shí)產(chǎn)權(quán)代理有限公司 44374
• 代理人: 周雷

1.一種語音合成方法，其特征在于，所述方法包括：

將目標(biāo)文本序列轉(zhuǎn)換為目標(biāo)unicode編碼；

將所述目標(biāo)unicode編碼輸入預(yù)設(shè)的語音特征分析模型進(jìn)行分析，得到所述目標(biāo)unicode編碼對(duì)應(yīng)的語音特征信息；

將參考語音輸入預(yù)設(shè)的語音編碼器進(jìn)行分析，得到所述參考語音對(duì)應(yīng)的語音編碼信息；

將語音合成信息輸入至預(yù)設(shè)的語音聲碼器進(jìn)行分析，得到所述目標(biāo)文本序列對(duì)應(yīng)的合成語音；

其中，所述語音合成信息包括所述語音特征信息和所述語音編碼信息。

2.根據(jù)權(quán)利要求1所述的語音合成方法，其特征在于，所述語音合成信息還包括所述目標(biāo)文本序列對(duì)應(yīng)的韻律情感信息；

以及，所述將語音合成信息輸入至預(yù)設(shè)的語音聲碼器進(jìn)行分析，得到所述目標(biāo)文本序列對(duì)應(yīng)的合成語音之前，所述方法還包括：

對(duì)所述目標(biāo)文本序列進(jìn)行預(yù)設(shè)的韻律情感分析，得到所述目標(biāo)文本序列對(duì)應(yīng)的韻律情感信息。

3.根據(jù)權(quán)利要求2所述的語音合成方法，其特征在于，所述目標(biāo)文本序列對(duì)應(yīng)的韻律情感信息包括所述目標(biāo)文本序列對(duì)應(yīng)的文本韻律信息和所述目標(biāo)文本序列對(duì)應(yīng)的文本語義信息；

以及，所述對(duì)所述目標(biāo)文本序列進(jìn)行預(yù)設(shè)的韻律情感分析，得到所述目標(biāo)文本序列對(duì)應(yīng)的韻律情感信息，包括：

將所述目標(biāo)文本序列輸入至預(yù)設(shè)的文本韻律分析模型進(jìn)行分析，得到所述目標(biāo)文本序列對(duì)應(yīng)的文本韻律信息；

將所述目標(biāo)文本序列輸入至預(yù)設(shè)的文本語義分析模型進(jìn)行分析，得到所述目標(biāo)文本序列對(duì)應(yīng)的文本語義信息。

4.根據(jù)權(quán)利要求3所述的語音合成方法，其特征在于，所述文本韻律分析模型由BERT模型和預(yù)設(shè)的各個(gè)韻律層級(jí)對(duì)應(yīng)的輸出層構(gòu)成，其中，每個(gè)韻律層級(jí)對(duì)應(yīng)的輸出層用于輸出該韻律層級(jí)的韻律邊界，所述文本韻律分析模型輸出的文本韻律信息包括各個(gè)韻律層級(jí)的韻律邊界。

5.根據(jù)權(quán)利要求3所述的語音合成方法，其特征在于，所述文本韻律分析模型和所述文本語義分析模型所使用的BERT模型均為模型層數(shù)為12，隱藏層單元數(shù)為768，自注意力頭數(shù)為12的BERT模型。

6.根據(jù)權(quán)利要求4所述的語音合成方法，其特征在于，所述文本韻律分析模型是基于多任務(wù)學(xué)習(xí)的方法進(jìn)行訓(xùn)練的。

7.根據(jù)權(quán)利要求6所述的語音合成方法，其特征在于，在對(duì)所述文本韻律分析模型進(jìn)行多任務(wù)學(xué)習(xí)的訓(xùn)練過程中，以交叉熵作為每個(gè)任務(wù)的損失函數(shù)。

8.一種語音合成裝置，其特征在于，所述裝置包括：

轉(zhuǎn)換模塊，用于將目標(biāo)文本序列轉(zhuǎn)換為目標(biāo)unicode編碼；

語音特征分析模塊，用于將所述目標(biāo)unicode編碼輸入預(yù)設(shè)的語音特征分析模型進(jìn)行分析，得到所述目標(biāo)unicode編碼對(duì)應(yīng)的語音特征信息；

語音編碼分析模塊，用于將參考語音輸入預(yù)設(shè)的語音編碼器進(jìn)行分析，得到所述參考語音對(duì)應(yīng)的語音編碼信息；

語音合成模塊，用于將語音合成信息輸入至預(yù)設(shè)的語音聲碼器進(jìn)行分析，得到所述目標(biāo)文本序列對(duì)應(yīng)的合成語音；

其中，所述語音合成信息包括所述語音特征信息和所述語音編碼信息。

9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括：

存儲(chǔ)有可執(zhí)行程序代碼的存儲(chǔ)器；

與所述存儲(chǔ)器連接的處理器；

所述處理器調(diào)用所述存儲(chǔ)器中存儲(chǔ)的所述可執(zhí)行程序代碼，執(zhí)行如權(quán)利要求1-7任一項(xiàng)所述的語音合成方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的語音合成方法。