[發明專利]語音合成方法、裝置、存儲介質和電子設備

有效

• 申請號: 202010082924.6
• 申請日: 2020-02-07
• 公開（公告）號: CN111292717B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 殷翔
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G10L13/04
• 分類號: G10L13/04;G10H1/36;G10H1/00
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹

1.一種語音合成方法，其特征在于，所述方法包括：

將歌詞數據和樂譜數據輸入信息提取模型，以獲得所述歌詞數據對應的文本信息和所述樂譜數據對應的樂理信息；

將所述文本信息和所述樂理信息輸入語音合成模型，獲得第一語音波形數據和第二語音波形數據，其中，所述語音合成模型用于對所述文本信息和所述樂理信息進行聯合處理；

根據所述第一語音波形數據和所述第二語音波形數據確定與所述歌詞數據和樂譜數據對應的語音合成數據；

其中，所述語音合成模型包括聲學子模型，所述語音合成模型的訓練包括：

將訓練文本信息和訓練樂理信息輸入所述聲學子模型，獲得與所述訓練文本信息對應的第一訓練聲學特征數據和與所述訓練樂理信息對應的第二訓練聲學特征數據；

根據所述第一訓練聲學特征數據和所述第二訓練聲學特征數據確定所述語音合成模型的損失，在所述損失小于預設閾值時結束訓練。

2.根據權利要求1所述的方法，其特征在于，所述語音合成模型還包括第一合成子模型和第二合成子模型，所述語音合成模型的訓練還包括：

將所述第一訓練聲學特征數據輸入所述第一合成子模型，獲得與所述訓練文本信息對應的第一訓練語音波形數據；將所述第二訓練聲學特征數據輸入所述第二合成子模型，獲得第二訓練語音波形數據；

根據所述第一訓練語音波形數據和所述訓練文本信息對應的目標語音波形數據，確定第一合成子模型對應的損失，并根據該損失訓練所述第一合成子模型；根據所述第二訓練語音波形數據和所述訓練樂理信息對應的目標語音波形數據，確定所述第二合成子模型對應的損失，并根據該損失訓練所述第二合成子模型。

3.根據權利要求1所述的方法，其特征在于，所述根據所述第一訓練聲學特征數據和所述第二訓練聲學特征數據確定所述語音合成模型的損失，包括：

根據所述第一訓練聲學特征數據和與所述訓練文本信息對應的目標聲學特征數據確定第一損失；

根據所述第二訓練聲學特征數據和與所述訓練樂理信息對應的目標聲學特征數據確定第二損失；

根據所述第一損失和所述第二損失確定聯合損失，并將所述聯合損失確定為所述語音合成模型的損失。

4.根據權利要求1-3中任一項所述的方法，其特征在于，所述文本信息包括：音素信息、聲調信息、歌詞旋律信息、歌詞節拍信息、和/或顫音信息；所述樂理信息包括：樂譜旋律信息和/或樂譜節拍信息。

5.根據權利要求4所述的方法，其特征在于，所述文本信息還包括以下中的一者或多者：強弱信息、節奏信息、速度信息、歌詞小節信息、歌詞段落信息；所述樂理信息還包括以下中的一者或多者：樂譜小節信息、樂譜段落信息。

6.根據權利要求1所述的方法，其特征在于，所述語音合成模型有多個，在將所述文本信息和所述樂理信息輸入語音合成模型的步驟之前，所述方法還包括：

接收語音合成模型選擇指令；

所述將所述文本信息和所述樂理信息輸入語音合成模型，包括：

將所述文本信息和所述樂理信息輸入所述語音合成模型選擇指令指示的語音合成模型。

7.一種語音合成裝置，其特征在于，所述裝置包括：

第一輸入模塊，用于將歌詞數據和樂譜數據輸入信息提取模型，以獲得所述歌詞數據對應的文本信息和所述樂譜數據對應的樂理信息；

第二輸入模塊，用于將所述文本信息和所述樂理信息輸入語音合成模型，獲得第一語音波形數據和第二語音波形數據，其中，所述語音合成模型用于對所述文本信息和所述樂理信息進行聯合處理；

第一確定模塊，用于根據所述第一語音波形數據和所述第二語音波形數據確定與所述歌詞數據和樂譜數據對應的語音合成數據；

其中，所述語音合成模型包括聲學子模型，所述語音合成模型的訓練包括：

將訓練文本信息和訓練樂理信息輸入所述聲學子模型，獲得與所述訓練文本信息對應的第一訓練聲學特征數據和與所述訓練樂理信息對應的第二訓練聲學特征數據；

根據所述第一訓練聲學特征數據和所述第二訓練聲學特征數據確定所述語音合成模型的損失，在所述損失小于預設閾值時結束訓練。