[發明專利]音樂視頻生成方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202211058076.0
• 申請日: 2022-08-31
• 公開（公告）號: CN115442540A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 趙世琦;陳佳琦;王巍;馬瑞濤
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N21/44;G06F16/58;G06K9/62
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 杜丹丹;羅建民

本發明提供一種音樂視頻生成方法、裝置、計算機設備及存儲介質，涉及計算機技術領域，其中所述方法包括：獲取片段圖像集合，其中每幅片段圖像對應一個視頻片段，所述視頻片段來源于原始視頻；獲取待生成音樂視頻的歌曲音頻及與之相匹配的歌詞文件；基于預設相似度算法，從所述片段圖像集合中提取與所述歌詞文件中歌詞的特征相似度滿足預設要求的多幅片段圖像；以及，將所述多幅片段圖像所對應的多個視頻片段與待生成音樂視頻的歌曲音頻相結合，生成最終的音樂視頻。本發明提供的技術方案實現了音樂視頻的自動化、批量化制作，極大縮短了制作時間，節省了人工成本，還提高了歌詞與音樂視頻中每個視頻片段語義匹配的準確度。

技術領域

本發明涉及計算機技術領域，具體涉及視頻處理領域，尤其涉及一種音樂視頻生成方法、一種音樂視頻生成裝置、一種計算機設備以及一種計算機可讀存儲介質。

背景技術

當前短視頻行業快速發展，各類短視頻極大占據了民眾的碎片時間，尤其是音樂類短視頻有著廣泛的受眾群體。出于個性化需求和不同情緒化表達的需要，通常需要對音樂、歌曲等添加或更換對應的視頻以生成音樂視頻，但各類音樂視頻的制作過程卻相對繁瑣，制作結果也不盡如人意。

目前，音樂視頻主要有以下兩種制作方式，第一種是從現有的影視素材等視頻素材庫中，通過人工手段選取、編輯、剪輯素材片段，制作與音樂的歌詞、節奏、情緒相匹配的音樂視頻，此種方法耗時較長，且極其依賴制作人員的個人經驗，制作效率低，人力成本和時間成本都相對較高，難以批量化生成；第二種是基于計算機程序，對歌曲的每句歌詞在互聯網中檢索與之匹配的圖片，通過對圖片添加各種特效及轉場效果，結合音頻分量，生成由圖片組成的幻燈片式的音樂視頻，此種方法雖然實現了音樂視頻的自動化生成，但這類音樂視頻的呈現效果較差，而且由于是通過簡單的歌詞搜索來選定圖片，也會出現因歌詞理解歧義而導致的歌詞和圖像語義不匹配的情況。

發明內容

為了至少部分解決現有技術中存在的人工手段制作的音樂視頻效率低，基于計算機程序制作的幻燈片式音樂視頻效果較差、歌詞與圖像語義不匹配等技術問題而完成了本發明。

根據本發明的一方面，提供一種音樂視頻生成方法，包括：

獲取片段圖像集合，其中每幅片段圖像對應一個視頻片段，所述視頻片段來源于原始視頻；

獲取待生成音樂視頻的歌曲音頻及與之相匹配的歌詞文件；

基于預設相似度算法，從所述片段圖像集合中提取與所述歌詞文件中歌詞的特征相似度滿足預設要求的多幅片段圖像；以及，

將所述多幅片段圖像所對應的多個視頻片段與待生成音樂視頻的歌曲音頻相結合，生成最終的音樂視頻。

可選地，所述獲取片段圖像集合，包括：

獲取原始視頻集合，其中包括多個原始視頻；

對所述原始視頻集合中的每個原始視頻進行分割處理，得到視頻片段集合；以及，

將所述視頻片段集合中的每個視頻片段的第一幀圖像作為該視頻片段的片段圖像，得到片段圖像集合。

可選地，所述對所述原始視頻集合中的每個原始視頻進行分割處理，具體為：

基于預設的鏡頭邊界檢測模型對所述原始視頻集合中的每個原始視頻進行鏡頭分割。

可選地，所述基于預設相似度算法，從所述片段圖像集合中提取與所述歌詞文件中歌詞的特征相似度滿足預設要求的多幅片段圖像，包括：

對所述片段圖像集合中的每幅片段圖像和所述歌詞文件中的每句歌詞進行特征提取，得到片段圖像特征集合和歌詞文本特征集合；

基于預設相似度算法對所述歌詞文本特征集合中每句歌詞的文本特征與所述片段圖像特征集合中每幅片段圖像的圖像特征兩兩計算相似度，得出與每句歌詞的文本特征的相似度較高的若干片段圖像的圖像特征；以及，