[發明專利]基于神經網絡技術的視頻配樂推薦方法、裝置以及設備

有效

• 申請號: 202110583910.7
• 申請日: 2021-05-27
• 公開（公告）號: CN113282788B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 羅劍;王健宗;程寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/735
• 分類號: G06F16/735;G06F16/783;G06N3/02;G06N3/08
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 周雷

1.一種基于神經網絡技術的視頻配樂推薦方法，其特征在于，所述方法包括：

將包含有多段待配樂視頻的視頻集合和包含有多段待選配樂的音樂庫輸入至預先訓練完成的風格標簽預測模型進行分析，得到所述視頻集合對應的視頻風格標簽信息和每段所述待選配樂對應的音頻風格標簽信息，其中，所述風格標簽預測模型的輸出包括視頻風格標簽信息、音頻風格標簽信息和用于表示所述視頻風格標簽信息和所述音頻風格標簽信息之間的相似度的標簽相似值，且所述風格標簽預測模型的預先訓練是基于標簽相似值完成的，在進行所述風格標簽預測模型的預先訓練時，所使用的跨模態特征比例損失函數為：

其中，L_CFR是所述跨模態特征比例損失函數，是所述風格標簽預測模型從待配樂視頻v_i中提取的視頻特征，是所述風格標簽預測模型從待選配樂m_i中提取的音頻特征，是所述風格標簽預測模型從待選配樂m_j中提取的音頻特征，v_i是指所述視頻集合中第i段待配樂視頻，m_i是指所述音樂庫中第i段待選配樂，m_j是指所述音樂庫中第j段待選配樂，i、j均為任意的正整數，相似度函數s的定義為：

其中，是待配樂視頻v_i的視頻風格標簽信息，是待選配樂m_j的音頻風格標簽信息，是所有的所述待配樂視頻和所述待選配樂之間的平均距離，m是所有的所述待配樂視頻的總數量，n是所有的所述待選配樂的總數量；

根據所述視頻集合對應的視頻風格標簽信息和每段所述待選配樂對應的音頻風格標簽信息計算所述視頻集合和每段所述待選配樂的匹配值；

根據所述視頻集合和每段所述待選配樂的匹配值從所述音樂庫中篩選出目標配樂，以作為所述視頻集合的配樂。

2.根據權利要求1所述的基于神經網絡技術的視頻配樂推薦方法，其特征在于，在進行所述風格標簽預測模型的預先訓練時，對于模型中所提取的視頻特征所使用的單模態特征比例損失函數為：

其中，是對于模型中所提取的視頻特征所使用的單模態特征比例損失函數，是所述風格標簽預測模型從待配樂視頻v_i中提取的視頻特征，是所述風格標簽預測模型從待配樂視頻v_j中提取的視頻特征，是所述風格標簽預測模型從待配樂視頻v_k中提取的視頻特征，是待配樂視頻v_i的視頻風格標簽信息，是待配樂視頻v_j的視頻風格標簽信息，是待配樂視頻v_k的視頻風格標簽信息，i、j、k均為任意的正整數。

3.根據權利要求2所述的基于神經網絡技術的視頻配樂推薦方法，其特征在于，在進行所述風格標簽預測模型的預先訓練時，對于模型中所提取的音頻特征所使用的單模態特征比例損失函數為：

其中，是對于模型中所提取的音頻特征所使用的單模態特征比例損失函數，是所述風格標簽預測模型從待選配樂m_i中提取的音頻特征，是所述風格標簽預測模型從待選配樂m_j中提取的音頻特征，是所述風格標簽預測模型從待選配樂m_k中提取的音頻特征，是待選配樂m_i的音頻風格標簽信息，是待選配樂m_j的音頻風格標簽信息，是待選配樂m_k的音頻風格標簽信息，i、j、k均為任意的正整數。

4.根據權利要求3所述的基于神經網絡技術的視頻配樂推薦方法，其特征在于，在進行所述風格標簽預測模型的預先訓練時，對于輸出所述標簽相似值的全連接層所使用的損失函數為：

其中，L_sim是對于輸出所述標簽相似值的全連接層所使用的損失函數，是輸出所述標簽相似值的全連接層的輸出，相似度函數s的定義為：

其中，是待配樂視頻v_i的視頻風格標簽信息，是待選配樂m_j的音頻風格標簽信息，是所有的所述待配樂視頻和所述待選配樂之間的平均距離，m是所有的所述待配樂視頻的總數量，n是所有的所述待選配樂的總數量。