[發明專利]視頻配樂方法、信息處理方法、設備及存儲介質

在審

• 申請號: 202111593541.6
• 申請日: 2021-12-23
• 公開（公告）號: CN114282051A
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 陳思宇;康力;鄧俊祺;王立波;陳穎
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F16/735
• 分類號: G06F16/735;G06F16/75;G06F16/783;G06F16/787;G06N3/04;G06N3/08
• 代理公司: 北京同鈞律師事務所 16037
• 代理人: 許懷遠

1.一種視頻配樂方法，其特征在于，包括：

確定待處理的視頻的簽名向量；

根據所述簽名向量確定所述視頻的類別；

基于與所述類別相匹配的音頻為所述視頻配樂；

其中，所述視頻的簽名向量用于表征所述視頻在視頻和音頻的跨模態空間中的位置。

2.根據權利要求1所述的方法，其特征在于，

確定待處理的視頻的簽名向量，包括：通過視頻特征提取器提取所述視頻的特征；根據提取的視頻的特征，通過視頻簽名模型得到所述視頻的簽名向量；和/或，

根據所述簽名向量確定所述視頻的類別，包括：將所述視頻的簽名向量輸入到視頻分類模型，得到所述視頻的類別。

3.根據權利要求2所述的方法，其特征在于，與所述類別相匹配的音頻為從至少一個備選音頻中選擇的音頻；針對各備選音頻，所述方法還包括：

通過音頻特征提取器提取所述備選音頻的特征；

根據提取的備選音頻的特征，通過音頻簽名模型得到所述備選音頻的簽名向量；

將所述備選音頻的簽名向量輸入到音頻分類模型，得到所述備選音頻的類別。

4.根據權利要求3所述的方法，其特征在于，訓練所述音頻簽名模型和所述視頻簽名模型時使用的損失函數包括第一損失函數，所述第一損失函數與正樣本對應的歐式距離為正相關關系，與負樣本對應的歐式距離為負相關關系；

所述正樣本對應的歐式距離為音頻的簽名向量和與該音頻相匹配的視頻的簽名向量的歐氏距離，所述負樣本對應的歐式距離為音頻的簽名向量和與該音頻不匹配的視頻的簽名向量的歐氏距離。

5.根據權利要求4所述的方法，其特征在于，所述視頻簽名模型、音頻簽名模型和所述視頻分類模型、所述音頻分類模型通過訓練樣本集一同訓練得到；

其中，所述損失函數還包括第二損失函數，所述第二損失函數通過所述訓練樣本集中樣本的標簽與樣本的類別預測值構建；所述樣本的標簽用于表征樣本的類別真實值。

6.根據權利要求2所述的方法，其特征在于，根據提取的視頻的特征，通過視頻簽名模型得到所述視頻的簽名向量，包括：

對所述視頻的特征進行正則化操作，并將正則化操作后的特征輸入到視頻簽名模型，得到所述視頻的簽名向量；

其中，對所述視頻的正則化操作用于調整所述視頻的特征分布。

7.根據權利要求6所述的方法，其特征在于，所述視頻的特征為多維向量；對所述視頻的特征進行正則化操作，包括：

根據所述視頻的多維向量的分布情況，對所述多維向量進行正則化操作；或者，

根據所述待處理的視頻與多個歷史視頻的特征的分布情況，對所述待處理的視頻的特征進行正則化操作。

8.根據權利要求1-7任一項所述的方法，其特征在于，基于與所述類別相匹配的音頻為所述視頻配樂，包括：

查找與所述視頻的簽名向量和/或類別相匹配的音頻列表；

根據推薦音頻為所述視頻配樂，或者，展示推薦音頻并基于用戶從中選擇的音頻為所述視頻配樂；

其中，所述推薦音頻包括下述至少一項：與所述視頻的簽名向量和類別相匹配的音頻列表；從與所述視頻的簽名向量相匹配的音頻列表中選擇的與所述視頻的類別相匹配的音頻；從與所述視頻的類別相匹配的音頻列表中選擇的與所述視頻的簽名向量相匹配的音頻。

9.一種視頻配樂方法，其特征在于，包括：

對待處理的視頻的特征進行正則化操作，根據正則化操作后的特征確定所述視頻的簽名向量和/或類別；

從備選音頻中選擇與所述簽名向量和/或類別相匹配的音頻為所述視頻配樂；

其中，正則化操作用于調整所述視頻的特征分布；所述視頻的簽名向量用于表征所述視頻在視頻和音頻的跨模態空間中的位置。