[發明專利]一種基于自監督學習的音樂合成視頻MV的方法

在審

• 申請號: 202010097990.0
• 申請日: 2020-02-17
• 公開（公告）號: CN111339865A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 康洪文
• 申請（專利權）人: 杭州慧川智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G10L15/08;G11B27/02;H04N21/234;H04N21/439;H04N21/44
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 宮建華

本發明公開了一種基于自監督學習的音樂合成視頻MV的方法，它包含以下步驟：一、從已有的素材庫中，分離出音頻和視頻流；二、利用深度學習技術，基于視頻理解，從視頻中提取出人物、動作、表情、場景信息；三、根據音樂的節奏、聲紋信息自動分類；四、從音樂中分離出人聲，樂器，伴奏以及歌詞；五、由視頻文件中的時間戳同步音視頻相關特征信息；六、由音樂特征學習對應的視頻信息，形成音樂和視頻的映射關系；七、輸入任何一段音樂，合成相應的視頻MV；本發明可以從海量的已有視頻數據中，自動匹配選取合適的視頻片段，將音樂映射生成相應的短視頻MV，給用戶更直觀的視覺沖擊力和更加生動的聽覺體驗。

技術領域

本發明涉及媒資管理技術領域，具體涉及一種基于自監督學習的音樂合成視頻MV的方法。

背景技術

在移動互聯網、大數據、AI智能的技術驅動下，短視頻正以其自身優勢，打破內容行業的傳統思路。短視頻平臺能夠基于用戶的興趣偏好，實現精準匹配、智能導流，并通過短視頻內容，智能輻射多元分發渠道，精準觸達多級用戶，使用戶低成本理解視頻主題并引起共鳴，獲得更多的認可和轉發。隨著5G技術的發展，平臺運營成本降低，移動端網速大幅提升，短視頻井噴的流量和突出的營銷效應，使得用戶的社交活躍性和使用黏性大大提升，越來越符合移動用戶時間碎片化的體驗。

音樂與短視頻MV同時具有娛樂屬性，但由于其語音特性，無法向用戶提供直觀、豐滿的畫面信息，而傳統的人工轉視頻方法需要人為收集、瀏覽、標記大量的視頻數據，再從中選出一些跟音樂節奏等信息相匹配的片段來，耗費了巨大的時間與精力。

發明內容

本發明的目的在于針對現有技術的缺陷和不足，提供一種基于自監督學習的音樂合成視頻MV的方法，可以從海量的已有視頻數據中，自動匹配選取合適的視頻片段，將音樂映射生成相應的短視頻MV，給用戶更直觀的視覺沖擊力和更加生動的聽覺體驗。

為實現上述目的，本發明采用的技術方案是：它包含如下步驟：

一、從已有的素材庫中，分離出音頻和視頻流；

二、利用深度學習技術，基于視頻理解，從視頻中提取出人物、動作、表情、場景信息；

三、根據音樂的節奏、聲紋信息自動分類；

四、從音樂中分離出人聲、樂器、伴奏以及歌詞；

五、由視頻文件中的時間戳同步音視頻相關特征信息；

六、由音樂特征學習對應的視頻信息，形成音樂和視頻的映射關系；

七、輸入任何一段音樂，合成相應的視頻MV。

進一步地，步驟二的具體方法是：使用深度3D卷積神經網絡提取視頻的時空信息，進行場景識別、動作捕捉、情感分析，提取出視頻的場景信息、對象信息、人物表情、運動信息；

進一步地，步驟三的具體方法是：使用GRU(Gated Recurrent Unit)網絡識別音樂的旋律節奏、情感、流派、聲紋特征，并按照不同的特征對其分類；

進一步地，步驟四的具體方法是：使用LSTM(Long Short-Term Memory)長短期記憶網絡，基于音樂時間序列中的間隔和延遲，將人聲、樂器、伴奏、歌詞信息從音樂中分離出來；

進一步地，步驟六的具體方法是：根據步驟三和步驟四得到的不同的音樂特征，使用RNN(Recurrent NeuralNetwork)網絡來學習對應的視頻信息，從而形成音樂和視頻的映射關系；

進一步地，步驟七的具體方法是：首先根據步驟三的方法，對輸入的音樂進行分類；再根據步驟六得到的音樂和視頻映射關系，從素材庫中選擇合適的視頻片段，合成相應的視頻MV。