[發(fā)明專利]一種基于自監(jiān)督學習的音樂合成視頻MV的方法

在審

• 申請?zhí)枺?/td>: 202010097990.0
• 申請日: 2020-02-17
• 公開（公告）號: CN111339865A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計）人: 康洪文
• 申請（專利權(quán)）人: 杭州慧川智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G10L15/08;G11B27/02;H04N21/234;H04N21/439;H04N21/44
• 代理公司: 北京科家知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11427
• 代理人: 宮建華

1.一種基于自監(jiān)督學習的音樂合成視頻MV的方法，其特征在于它包含如下步驟：

一、從已有的素材庫中，分離出音頻和視頻流；

二、利用深度學習技術(shù)，基于視頻理解，從視頻中提取出人物、動作、表情、場景信息；

三、根據(jù)音樂的節(jié)奏、聲紋信息自動分類；

四、從音樂中分離出人聲、樂器、伴奏以及歌詞；

五、由視頻文件中的時間戳同步音視頻相關(guān)特征信息；

六、由音樂特征學習對應(yīng)的視頻信息，形成音樂和視頻的映射關(guān)系；

七、輸入任何一段音樂，合成相應(yīng)的視頻MV。

2.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督學習的音樂合成視頻MV的方法，其特征在于步驟二的具體方法是：使用深度3D卷積神經(jīng)網(wǎng)絡(luò)提取視頻的時空信息，進行場景識別、動作捕捉、情感分析，提取出視頻的場景信息、對象信息、人物表情、運動信息。

3.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督學習的音樂合成視頻MV的方法，其特征在于步驟三的具體方法是：使用GRU(Gated Recurrent Unit)網(wǎng)絡(luò)識別音樂的旋律節(jié)奏、情感、流派、聲紋特征，并按照不同的特征對其分類。

4.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督學習的音樂合成視頻MV的方法，其特征在于步驟四的具體方法是：使用LSTM(Long Short-Term Memory)長短期記憶網(wǎng)絡(luò)，基于音樂時間序列中的間隔和延遲，將人聲、樂器、伴奏、歌詞信息從音樂中分離出來。

5.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督學習的音樂合成視頻MV的方法，其特征在于步驟六的具體方法是：根據(jù)步驟三和步驟四得到的不同的音樂特征，使用RNN(RecurrentNeuralNetwork)網(wǎng)絡(luò)來學習對應(yīng)的視頻信息，從而形成音樂和視頻的映射關(guān)系。

6.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督學習的音樂合成視頻MV的方法，其特征在于步驟七的具體方法是：首先根據(jù)步驟三的方法，對輸入的音樂進行分類；再根據(jù)步驟六得到的音樂和視頻映射關(guān)系，從素材庫中選擇合適的視頻片段，合成相應(yīng)的視頻MV。