[發明專利]用于生成文本的配樂的方法、裝置、電子設備和介質

在審

• 申請號: 202210693446.1
• 申請日: 2022-06-17
• 公開（公告）號: CN115101032A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 伍林;陳子愷;殷翔;馬澤君
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G10H1/00
• 分類號: G10H1/00;G06N3/08;G06N3/04
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 李輝

1.一種用于生成文本的配樂的方法，包括：

基于所述文本的多個段落的語義，將所述文本劃分為至少一個情節單元；

確定所述至少一個情節單元的情節類別；以及

基于所述情節類別，確定與所述至少一個情節單元匹配的音樂。

2.根據權利要求1所述的方法，其中，將所述文本劃分為至少一個情節單元包括：

使用第一神經網絡模型來確定所述多個段落中的在情節邊界處的段落；以及

基于被確定為在情節邊界處的段落，將所述文本劃分為至少一個情節單元。

3.根據權利要求2所述的方法，其中，所述第一神經網絡包括第一語義網絡和循環神經網絡，并且確定所述多個段落中的在情節邊界處的段落包括：

基于所述第一語義網絡，生成所述多個段落各自的語義表示；

基于所述循環神經網絡，從所述多個段落的所述語義表示生成所述多個段落各自的隱藏狀態表示；以及

基于所述多個段落的所述隱藏狀態表示，確定所述多個段落關于是否在情節邊界處的劃分類別。

4.根據權利要求3所述的方法，其中，所述第一神經網絡還包括卷積網絡和相似度網絡，并且確定所述多個段落關于是否在情節邊界處的劃分類別包括：

基于所述卷積網絡和所述相似度網絡，從所述多個段落的所述隱藏狀態表示生成附加隱藏狀態表示；以及

基于所述多個段落的所述隱藏狀態表示和所述附加隱藏狀態表示，生成所述多個段落各自的情節劃分表示以確定所述劃分類別。

5.根據權利要求1所述的方法，其中所述至少一個情節單元包括第一情節單元，并且確定所述至少一個情節單元的情節類別包括：

使用第二神經網絡模型來確定所述第一情節單元的第一情節類別。

6.根據權利要求5所述的方法，其中所述第二神經網絡單元包括第二語義網絡和自注意力網絡，并且確定所述第一情節單元的第一情節類別包括：

將所述第一情節單元劃分為多個段落組；

基于所述第二語義網絡，生成所述多個段落組各自的組語義表示；以及

基于所述自注意力網絡，從所述多個段落組的所述組語義表示生成所述第一情節單元的情節類別表示以確定所述第一情節類別。

7.根據權利要求1所述的方法，其中確定與所述至少一個情節單元匹配的音樂包括：

基于所述情節類別和與所述至少一個情節單元對應的語音的長度，從音樂庫中選擇匹配的音樂。

8.一種用于訓練第一神經網絡模型的方法，包括：

使用所述第一神經網絡模型，生成訓練數據集中的多個段落的隱藏狀態表示，其中所述訓練數據集中的多個段落具有相應的標簽，所述標簽指示相應段落的情節類別，

基于所述隱藏狀態表示和所述標簽，確定第一損失；

基于所述第一損失，更新所述第一神經網絡模型的參數。

9.根據權利要求8所述的方法，其中所述第一神經網絡模型包括第一語義網絡和循環神經網絡，所述方法包括：

基于所述第一語義網絡，確定所述多個段落各自的語義表示；

基于所述循環神經網絡，從所述多個段落的所述語義表示生成所述多個段落各自的隱藏狀態表示。

10.根據權利要求9所述的方法，其中所述第一神經網絡還包括卷積網絡和相似度網絡，所述方法還包括：

基于所述卷積網絡和所述相似度網絡，從所述多個段落的所述隱藏狀態表示生成所述多個段落各自的情節劃分表示；

基于所述情節劃分表示和所述標簽，確定第二損失；以及

基于所述第一損失和所述第二損失，更新所述第一神經網絡模型的參數。

11.根據權利要求8所述的方法，其中標簽指示相應段落具有以下情節類別之一：溫暖、高興、浪漫、激昂、威脅、悲傷、受傷、誤會、沖突、積極、消極、中立。