[發(fā)明專利]音頻可視化模型訓(xùn)練及音頻可視化方法、裝置及設(shè)備

有效

• 申請?zhí)枺?/td>: 202110493845.9
• 申請日: 2021-05-07
• 公開（公告）號: CN113157965B
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計(jì)）人: 展麗霞;肖強(qiáng);孔昭陽;董家驥;李勇
• 申請（專利權(quán)）人: 杭州網(wǎng)易云音樂科技有限公司
• 主分類號: G06F16/64
• 分類號: G06F16/64;G06F16/61
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 張燕

本發(fā)明提供一種提供音頻可視化模型訓(xùn)練及音頻可視化方法、裝置及設(shè)備，包括：獲取包括用戶信息、用戶歷史播放視頻、目標(biāo)音頻、目標(biāo)視頻、目標(biāo)音頻是否關(guān)聯(lián)的關(guān)系標(biāo)簽的訓(xùn)練樣本；將訓(xùn)練樣本輸入音頻可視化模型，對目標(biāo)音頻進(jìn)行特征提取，得到目標(biāo)音頻的第一特征表示；對用戶信息、用戶歷史播放視頻進(jìn)行特征提取得到用戶特征、用戶興趣表達(dá)特征，對目標(biāo)視頻進(jìn)行特征提取得到第二特征表示，將用戶特征、用戶興趣表達(dá)特征和第二特征表示聯(lián)合處理得到第三特征表示；確定第一特征表示和第三特征表示之間的相似度；根據(jù)相似度及訓(xùn)練樣本中的關(guān)系標(biāo)簽，更新音頻可視化模型的參數(shù)。本發(fā)明可以對同一音頻進(jìn)行個性化視頻搭配，滿足多樣化的用戶需求。

技術(shù)領(lǐng)域

本發(fā)明涉及音視頻技術(shù)領(lǐng)域，尤其涉及一種音頻可視化模型訓(xùn)練及音頻可視化方法、裝置及設(shè)備。

背景技術(shù)

在音頻播放過程中，用戶通過音響感知、情緒感受、形象聯(lián)想與理性感悟，完成對音頻作品由感性到理性的審美體驗(yàn)過程。音頻具有形象思維的特點(diǎn)，在情感的伴隨下，通過想象聯(lián)想，獲得音頻形象、生活情景以及意境等形象，音頻可視化因此而衍生出來。音頻可視化主要實(shí)現(xiàn)以視頻動畫詮釋音樂情緒，將音頻素材和視頻融為一體。

相關(guān)技術(shù)中推出的一種音頻播放場景為，根據(jù)用戶當(dāng)前播放的音頻，自動為播放的音頻搭配動態(tài)視頻，不僅從聽覺模式打動用戶內(nèi)心，而且通過視覺模式為用戶帶來沖擊力。

相關(guān)技術(shù)中自動為播放的音頻搭配動態(tài)視頻，主要通過建立視頻類型標(biāo)簽與單曲風(fēng)格映射規(guī)則，在音頻播放過程中，根據(jù)音頻的單曲風(fēng)格，根據(jù)映射規(guī)則搭配對應(yīng)的視頻類型標(biāo)簽中的視頻。在確定映射規(guī)則時，主要研究音頻內(nèi)容理解、情感檢測，圖形圖像平移、縮放、旋轉(zhuǎn)、切變復(fù)雜處理，最終呈現(xiàn)音頻表現(xiàn)力，給用戶帶來極大的視覺刺激。但這種技術(shù)脫離了用戶興趣偏好，沒有以用戶個性化偏好為驅(qū)動進(jìn)行視頻搭配，難以滿足多樣化的用戶需求。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種音頻可視化方法、裝置、設(shè)備及介質(zhì)，可以根據(jù)用戶的興趣偏好，實(shí)現(xiàn)對同一音頻進(jìn)行的個性化視頻搭配，滿足多樣化的用戶需求。

第一方面，本發(fā)明實(shí)施例提供一種音頻可視化模型訓(xùn)練方法，該方法包括：

獲取訓(xùn)練樣本，所述訓(xùn)練樣本包括用戶信息、用戶歷史播放視頻、目標(biāo)音頻、目標(biāo)視頻、表征所述目標(biāo)音頻和目標(biāo)視頻是否相關(guān)聯(lián)的關(guān)系標(biāo)簽；

將所述訓(xùn)練樣本輸入音頻可視化模型，對所述目標(biāo)音頻進(jìn)行特征提取，得到所述目標(biāo)音頻的第一特征表示；

對所述用戶信息、用戶歷史播放視頻與目標(biāo)視頻的關(guān)系進(jìn)行特征提取得到用戶特征、用戶興趣表達(dá)特征，對所述目標(biāo)視頻進(jìn)行特征提取得到第二特征表示，將所述用戶特征、所述用戶興趣表達(dá)特征和所述第二特征表示聯(lián)合處理得到第三特征表示；

確定所述第一特征表示和所述第三特征表示之間的相似度；

根據(jù)所述相似度及所述訓(xùn)練樣本中的關(guān)系標(biāo)簽，更新所述音頻可視化模型的參數(shù)。

作為一種可選的實(shí)施方式，所述訓(xùn)練樣本還包括知識圖譜；對目標(biāo)音頻/目標(biāo)視頻進(jìn)行特征提取，包括：

確定所述目標(biāo)音頻/目標(biāo)視頻在所述知識圖譜中對應(yīng)的目標(biāo)節(jié)點(diǎn)，及確定通過邊與所述目標(biāo)節(jié)點(diǎn)建立關(guān)聯(lián)關(guān)系的鄰居節(jié)點(diǎn)；

對所述鄰居節(jié)點(diǎn)的屬性信息、所述鄰居節(jié)點(diǎn)連接所述目標(biāo)節(jié)點(diǎn)的邊對應(yīng)的關(guān)聯(lián)關(guān)系進(jìn)行特征提取，得到所述目標(biāo)節(jié)點(diǎn)在所述知識圖譜中與鄰居節(jié)點(diǎn)的關(guān)系表達(dá)特征；

所述目標(biāo)節(jié)點(diǎn)在所述知識圖譜中與鄰居節(jié)點(diǎn)的關(guān)系表達(dá)特征，包括所述目標(biāo)音頻在所述知識圖譜中與鄰居節(jié)點(diǎn)關(guān)系表達(dá)的所述第一特征表示或所述目標(biāo)視頻在所述知識圖譜中與鄰居節(jié)點(diǎn)關(guān)系表達(dá)的所述第二特征表示；

所述知識圖譜為將實(shí)體定義為節(jié)點(diǎn)，將存在關(guān)聯(lián)關(guān)系的節(jié)點(diǎn)通過邊連接，并根據(jù)所述關(guān)聯(lián)關(guān)系的類型確定邊的類型，根據(jù)節(jié)點(diǎn)的相關(guān)信息對所述節(jié)點(diǎn)進(jìn)行屬性信息填充所構(gòu)建得到的圖譜，所述實(shí)體包括音頻和視頻。