[發(fā)明專利]基于神經(jīng)網(wǎng)絡(luò)技術(shù)的視頻配樂推薦方法、裝置以及設(shè)備

有效

• 申請?zhí)枺?/td>: 202110583910.7
• 申請日: 2021-05-27
• 公開（公告）號: CN113282788B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計）人: 羅劍;王健宗;程寧
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/735
• 分類號: G06F16/735;G06F16/783;G06N3/02;G06N3/08
• 代理公司: 深圳國新南方知識產(chǎn)權(quán)代理有限公司 44374
• 代理人: 周雷

本發(fā)明公開了一種基于神經(jīng)網(wǎng)絡(luò)技術(shù)的視頻配樂推薦方法，包括：將包含有多段待配樂視頻的視頻集合和包含有多段待選配樂的音樂庫輸入至預(yù)先訓(xùn)練完成的風(fēng)格標簽預(yù)測模型進行分析，得到視頻集合對應(yīng)的視頻風(fēng)格標簽信息和每段待選配樂對應(yīng)的音頻風(fēng)格標簽信息；根據(jù)視頻集合對應(yīng)的視頻風(fēng)格標簽信息和每段待選配樂對應(yīng)的音頻風(fēng)格標簽信息計算視頻集合和每段待選配樂的匹配值；根據(jù)視頻集合和每段待選配樂的匹配值從音樂庫中篩選出目標配樂，以作為視頻集合的配樂。可見，本發(fā)明能夠使預(yù)先訓(xùn)練完成的風(fēng)格標簽預(yù)測模型對音頻和視頻這兩種不同模態(tài)的特征具有較好的融合能力，從而能夠提高最終推薦的配樂和視頻的匹配質(zhì)量。本發(fā)明還涉及區(qū)塊鏈技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種基于神經(jīng)網(wǎng)絡(luò)技術(shù)的視頻配樂推薦方法、裝置、計算機設(shè)備以及存儲介質(zhì)。

背景技術(shù)

視頻自動配樂是一項常見的視頻處理技術(shù)，其能夠為視頻自動選擇合適的配樂，然后使用選擇到的配樂完成視頻的配樂處理，從而能夠為視頻創(chuàng)作者節(jié)省大量從音樂素材庫中挑選合適的配樂的時間，使視頻創(chuàng)作者能夠?qū)⒅饕ν度朐谝曨l的內(nèi)容上，為視頻創(chuàng)作者創(chuàng)作視頻提供了極大的便利。

視頻自動配樂技術(shù)的關(guān)鍵點在于配樂的自動推薦(即從音樂庫中篩選出與視頻匹配的配樂)。目前，使用人工神經(jīng)網(wǎng)絡(luò)模型來實現(xiàn)配樂的自動推薦是較為常見的一種做法。在人工神經(jīng)網(wǎng)絡(luò)模型中，會從待配樂視頻中提取視頻特征，從待選配樂中提取音頻特征，其中，視頻特征和音頻特征屬于不同模態(tài)的特征，在人工神經(jīng)網(wǎng)絡(luò)模型中需要對這兩種不同模態(tài)的特征進行融合，最后才能完成配樂的自動推薦。人工神經(jīng)網(wǎng)絡(luò)模型中對不同模態(tài)的特征的融合情況，一定程度上決定著最后推薦的配樂與視頻的匹配情況，但是，現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)模型對不同模態(tài)的特征的融合情況大多并不理想，導(dǎo)致最后推薦的配樂與視頻的匹配程度不高。可見，目前的基于神經(jīng)網(wǎng)絡(luò)技術(shù)的視頻配樂推薦方法所推薦的配樂和視頻的匹配質(zhì)量仍有提升的空間。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題在于，目前的基于神經(jīng)網(wǎng)絡(luò)技術(shù)的視頻配樂推薦方法所推薦的配樂和視頻的匹配質(zhì)量較低。

為了解決上述技術(shù)問題，本發(fā)明第一方面公開了一種基于神經(jīng)網(wǎng)絡(luò)技術(shù)的視頻配樂推薦方法，所述方法包括：

將包含有多段待配樂視頻的視頻集合和包含有多段待選配樂的音樂庫輸入至預(yù)先訓(xùn)練完成的風(fēng)格標簽預(yù)測模型進行分析，得到所述視頻集合對應(yīng)的視頻風(fēng)格標簽信息和每段所述待選配樂對應(yīng)的音頻風(fēng)格標簽信息，其中，所述風(fēng)格標簽預(yù)測模型的輸出包括視頻風(fēng)格標簽信息、音頻風(fēng)格標簽信息和用于表示所述視頻風(fēng)格標簽信息和所述音頻風(fēng)格標簽信息之間的相似度的標簽相似值，且所述風(fēng)格標簽預(yù)測模型的預(yù)先訓(xùn)練是基于標簽相似值完成的；

根據(jù)所述視頻集合對應(yīng)的視頻風(fēng)格標簽信息和每段所述待選配樂對應(yīng)的音頻風(fēng)格標簽信息計算所述視頻集合和每段所述待選配樂的匹配值；

根據(jù)所述視頻集合和每段所述待選配樂的匹配值從所述音樂庫中篩選出目標配樂，以作為所述視頻集合的配樂。

本發(fā)明第二方面公開了一種基于神經(jīng)網(wǎng)絡(luò)技術(shù)的視頻配樂推薦裝置，所述裝置包括：

分析模塊，用于將包含有多段待配樂視頻的視頻集合和包含有多段待選配樂的音樂庫輸入至預(yù)先訓(xùn)練完成的風(fēng)格標簽預(yù)測模型進行分析，得到所述視頻集合對應(yīng)的視頻風(fēng)格標簽信息和每段所述待選配樂對應(yīng)的音頻風(fēng)格標簽信息，其中，所述風(fēng)格標簽預(yù)測模型的輸出包括視頻風(fēng)格標簽信息、音頻風(fēng)格標簽信息和用于表示所述視頻風(fēng)格標簽信息和所述音頻風(fēng)格標簽信息之間的相似度的標簽相似值，且所述風(fēng)格標簽預(yù)測模型的預(yù)先訓(xùn)練是基于標簽相似值完成的；

計算模塊，用于根據(jù)所述視頻集合對應(yīng)的視頻風(fēng)格標簽信息和每段所述待選配樂對應(yīng)的音頻風(fēng)格標簽信息計算所述視頻集合和每段所述待選配樂的匹配值；

篩選模塊，用于根據(jù)所述視頻集合和每段所述待選配樂的匹配值從所述音樂庫中篩選出目標配樂，以作為所述視頻集合的配樂。