[發(fā)明專利]語音合成方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011273128.7
• 申請日: 2020-11-13
• 公開（公告）號: CN112382270A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 湯本來;李忠豪
• 申請（專利權(quán)）人: 北京有竹居網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08;G10L25/03;G10L25/30
• 代理公司: 北京海智友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11455
• 代理人: 吳京順

1.一種語音合成方法，包括：

獲取目標(biāo)文本和目標(biāo)音頻；

基于所述目標(biāo)文本，確定用于指示目標(biāo)口音的第一聲學(xué)特征；

基于所述目標(biāo)音頻，確定目標(biāo)音色；

確定所述第一聲學(xué)特征中的語言學(xué)特征；

基于所述目標(biāo)音色、所述語言學(xué)特征和所述目標(biāo)文本，確定所述目標(biāo)文本對應(yīng)的具有目標(biāo)口音和目標(biāo)音色的音頻，并輸出所述具有目標(biāo)口音和目標(biāo)音色的音頻。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述目標(biāo)文本，確定用于指示目標(biāo)口音的第一聲學(xué)特征，包括：

根據(jù)所述目標(biāo)文本和預(yù)訓(xùn)練的語音合成模型，確定所述目標(biāo)文本對應(yīng)的用于指示目標(biāo)口音的第一聲學(xué)特征，其中，所述預(yù)訓(xùn)練的語音合成模型用于表征說話文本與第一聲學(xué)特征的對應(yīng)關(guān)系。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述目標(biāo)音頻，確定目標(biāo)音色，包括：

根據(jù)所述目標(biāo)音頻和預(yù)訓(xùn)練的身份驗(yàn)證模型，確定所述目標(biāo)音頻對應(yīng)的身份向量，其中，所述預(yù)訓(xùn)練的身份驗(yàn)證模型用于表征音頻與身份向量之間的對應(yīng)關(guān)系；

根據(jù)所述身份向量，確定目標(biāo)音色。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述確定所述第一聲學(xué)特征中的語言學(xué)特征，包括：

利用預(yù)訓(xùn)練的識別模型提取所述第一聲學(xué)特征中的語言學(xué)特征，其中，預(yù)訓(xùn)練的識別模型用于表征第一聲學(xué)特征與語言學(xué)特征的對應(yīng)關(guān)系。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述目標(biāo)音色、所述語言學(xué)特征和所述目標(biāo)文本，確定所述目標(biāo)文本對應(yīng)的具有目標(biāo)口音和目標(biāo)音色的音頻，包括：

根據(jù)所述目標(biāo)音色、所述語言學(xué)特征、所述目標(biāo)文本和預(yù)訓(xùn)練的轉(zhuǎn)換模型，確定所述目標(biāo)文本對應(yīng)的用于生成具有目標(biāo)口音和目標(biāo)音色的音頻的第二聲學(xué)特征，其中，所述轉(zhuǎn)換模型用于表征音色、語言學(xué)特征和文本與第二聲學(xué)特征的對應(yīng)關(guān)系；

基于所述第二聲學(xué)特征，確定所述目標(biāo)文本對應(yīng)的具有目標(biāo)口音和目標(biāo)音色的音頻。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述方法還包括：

獲取初始神經(jīng)網(wǎng)絡(luò)模型；

獲取訓(xùn)練樣本集合，其中，所述訓(xùn)練樣本集合中的訓(xùn)練樣本包括音色、語言學(xué)特征、語言學(xué)特征對應(yīng)的目標(biāo)文本以及標(biāo)注的與所述音色、所述語言學(xué)特征和所述語言學(xué)特征對應(yīng)的目標(biāo)文本對應(yīng)的第二聲學(xué)特征；

將所述訓(xùn)練樣本集合中的訓(xùn)練樣本的音色、語言學(xué)特征和語言學(xué)特征對應(yīng)的目標(biāo)文本作為所述初始神經(jīng)網(wǎng)絡(luò)模型的輸入，將與輸入的音色、語言學(xué)特征和語言學(xué)特征對應(yīng)的目標(biāo)文本對應(yīng)的第二聲學(xué)特征作為期望輸出，對所述初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

將訓(xùn)練后的所述初始神經(jīng)網(wǎng)絡(luò)模型確定為所述轉(zhuǎn)換模型。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述訓(xùn)練樣本集合不包括所述目標(biāo)音色；所述第二聲學(xué)特征包括對應(yīng)于所述目標(biāo)口音和所述目標(biāo)音色的梅爾頻譜；以及

所述基于所述第二聲學(xué)特征，確定所述目標(biāo)文本對應(yīng)的具有目標(biāo)口音和目標(biāo)音色的音頻，包括：

根據(jù)所述梅爾頻譜和預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)聲碼器，合成所述目標(biāo)文本對應(yīng)的具有目標(biāo)口音和目標(biāo)音色的音頻。

8.一種語音合成裝置，包括：

獲取單元，被配置成獲取目標(biāo)文本和目標(biāo)音頻；

第一聲學(xué)特征確定單元，被配置成基于所述目標(biāo)文本，確定用于指示目標(biāo)口音的第一聲學(xué)特征；

目標(biāo)音色確定單元，被配置成基于所述目標(biāo)音頻，確定目標(biāo)音色；

語言學(xué)特征確定單元，被配置成確定所述第一聲學(xué)特征中的語言學(xué)特征；

轉(zhuǎn)換單元，被配置成基于所述目標(biāo)音色、所述語言學(xué)特征和所述目標(biāo)文本，確定所述目標(biāo)文本對應(yīng)的具有目標(biāo)口音和目標(biāo)音色的音頻，并輸出所述具有目標(biāo)口音和目標(biāo)音色的音頻。