[發明專利]音樂視頻生成方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202211058076.0
• 申請日: 2022-08-31
• 公開（公告）號: CN115442540A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 趙世琦;陳佳琦;王巍;馬瑞濤
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N21/44;G06F16/58;G06K9/62
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 杜丹丹;羅建民

1.一種音樂視頻生成方法，其特征在于，包括：

獲取片段圖像集合，其中每幅片段圖像對應一個視頻片段，所述視頻片段來源于原始視頻；

獲取待生成音樂視頻的歌曲音頻及與之相匹配的歌詞文件；

基于預設相似度算法，從所述片段圖像集合中提取與所述歌詞文件中歌詞的特征相似度滿足預設要求的多幅片段圖像；以及，

將所述多幅片段圖像所對應的多個視頻片段與待生成音樂視頻的歌曲音頻相結合，生成最終的音樂視頻。

2.根據權利要求1所述的方法，其特征在于，所述獲取片段圖像集合，包括：

獲取原始視頻集合，其中包括多個原始視頻；

對所述原始視頻集合中的每個原始視頻進行分割處理，得到視頻片段集合；以及，

將所述視頻片段集合中的每個視頻片段的第一幀圖像作為該視頻片段的片段圖像，得到片段圖像集合。

3.根據權利要求2所述的方法，其特征在于，所述對所述原始視頻集合中的每個原始視頻進行分割處理，具體為：

基于預設的鏡頭邊界檢測模型對所述原始視頻集合中的每個原始視頻進行鏡頭分割。

4.根據權利要求1所述的方法，其特征在于，所述基于預設相似度算法，從所述片段圖像集合中提取與所述歌詞文件中歌詞的特征相似度滿足預設要求的多幅片段圖像，包括：

對所述片段圖像集合中的每幅片段圖像和所述歌詞文件中的每句歌詞進行特征提取，得到片段圖像特征集合和歌詞文本特征集合；

基于預設相似度算法對所述歌詞文本特征集合中每句歌詞的文本特征與所述片段圖像特征集合中每幅片段圖像的圖像特征兩兩計算相似度，得出與每句歌詞的文本特征的相似度較高的若干片段圖像的圖像特征；以及，

從所述片段圖像集合中提取與每句歌詞的文本特征的相似度較高的若干片段圖像的圖像特征所對應的片段圖像，得到多幅片段圖像。

5.根據權利要求4所述的方法，其特征在于，所述對所述片段圖像集合中的每幅片段圖像和所述歌詞文件中的每句歌詞進行特征提取，得到片段圖像特征集合和歌詞文本特征集合，包括：

獲取多模態預訓練模型；以及，

基于所述多模態預訓練模型，分別提取所述片段圖像集合中每幅片段圖像的圖像特征和所述歌詞文件中每句歌詞的文本特征，得到片段圖像特征集合和歌詞文本特征集合。

6.根據權利要求5所述的方法，其特征在于，所述獲取多模態預訓練模型，包括：

獲取多對圖像文本對數據，其中每對圖像文本對數據包括一幅圖像信息和與該圖像的畫面相匹配的文字描述信息；

將每對圖像文本對數據中的圖像信息和文字描述信息分別輸入到預設的多模態模型的圖像特征提取器和文本特征提取器中，得到該對圖像文本對數據的圖像特征和文本特征；

將每對圖像文本對數據的圖像特征和文本特征共同輸入到所述多模態模型的模態融合模塊中進行不同模態特征的融合，再通過預訓練任務對所述多模態模型進行訓練；

響應于經過預訓練的多模態模型的損失函數已收斂，得到多模態預訓練模型。

7.根據權利要求4所述的方法，其特征在于，所述將所述多幅片段圖像所對應的多個視頻片段與待生成音樂視頻的歌曲音頻相結合，生成最終的音樂視頻，包括：

將所述多幅片段圖像所對應的多個視頻片段按預設規則進行拼接處理，得到拼接視頻；以及，

將所述拼接視頻與待生成音樂視頻的歌曲音頻進行疊加處理以生成最終的音樂視頻。

8.根據權利要求7所述的方法，其特征在于，所述將所述多幅片段圖像所對應的多個視頻片段按預設規則進行拼接處理，得到拼接視頻，包括：

獲取與所述多幅片段圖像分別對應的多個視頻片段；

對于與每句歌詞的特征相似度較高的若干片段圖像所對應的若干視頻片段，基于該句歌詞在待生成音樂視頻的歌曲中對應的時長與該句歌詞對應的若干視頻片段的時長對該句歌詞對應的若干視頻片段進行處理，得到時長相同且與該句歌詞對應的短視頻；以及，

將所述歌詞文件包括的全部歌詞所對應的短視頻按照歌詞順序進行拼接，得到拼接視頻。