[發明專利]一種短視頻音樂推薦方法

在審

• 申請號: 201910737570.1
• 申請日: 2019-08-12
• 公開（公告）號: CN110427518A
• 公開（公告）日: 2019-11-08
• 發明（設計）人: 孫偉芳
• 申請（專利權）人: 央視國際網絡無錫有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06F16/783;G06F16/683;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明是短視頻音樂推薦方法，包括：一：訓練視頻分類模型；二：轉換音樂為同一個格式，并選擇音樂特征組合提取音樂特征，得到音樂庫特征集；三：獲取音樂的V?A真值，并根據視頻集內容標簽為音樂貼標簽；四：輸入多標簽分類算法和情感回歸算法進行訓練，將待分析音頻預處理并提取特征之后，輸入上面兩個模型中，預測出內容標簽和V?A值；五：模型、內容標簽和V?A值成為短視頻音樂推薦系統的后臺數據。本發明的優點：集合了待配樂視頻類別及用戶對音樂的情感需求等多方位功能，可滿足多方需求；適用范圍廣，適用于不同視頻和音樂類型，可自行添加音樂庫，滿足不同用戶的性化使用；后臺數據和模型可實時訓練更新，滿足不同時期的流行需求。

技術領域

本發明涉及的是一種短視頻音樂推薦方法，屬于電子信息技術領域。

背景技術

隨著通信技術的不斷升級，智能設備的不斷更新換代，當今世界是短視頻橫行的世界，人們隨處可拍，即時編輯制作，快速上傳傳播。面對這一現象，也會有更多新的視頻制作需求涌現，在視頻制作過程中，為視頻選擇合適的配樂對視頻最終的效果以及傳播范圍影響很大，因此，音樂的選擇和推薦是不可缺少的一環。

由于現在的音樂種類繁多，類型也多樣，現有技術中的短視頻app、短視頻制作個人或工作室，在視頻配樂方面基本都是依賴于制作者本身的音樂素養和視頻制作經驗。配樂對于短視頻最終的效果影響很大，但專業方面的人才往往很少，且對于大眾而言，難度很大，門檻比較高。

發明內容

本發明提出的是一種短視頻音樂推薦方法，其目的旨在克服現有技術存在的上述不足，實現有效且簡單的根據短視頻的內容推薦不同類型的音樂，并且可讓用戶自由選擇不同情緒的音樂。

本發明的技術解決方案：一種短視頻音樂推薦方法，該方法包括以下步驟：

第一步：用帶內容標簽的視頻集，訓練視頻分類模型；

第二步：轉換用以訓練模型的音樂庫中的音樂文件格式為同一個所需要的格式，并選擇合適的音樂特征組合，提取出音樂的特征，得到音樂庫中每首音樂的特征集；

第三步：獲取音樂的V-A真值，并根據第一步中視頻集的內容標簽為音樂貼標簽，得到貼好內容標簽的音樂集；

第四步：根據第二步中得到的音樂庫特征集和第三步中得到的V-A真值輸入情感回歸算法訓練得到音樂情感預測模型，將第三步中貼好內容標簽的音樂集和V-A真值輸入多標簽分類算法訓練得到基于V-A預測內容的模型，保存這兩個模型；將待分析音頻庫按照第二步預處理并提取特征之后，將待分析音頻庫中每一個音樂文件的特征依次輸入上面訓練出來的兩個模型中，預測出內容標簽和V-A值，結果表示為(songid、label、Valence、Arousal)。

第五步：由第一～四步所計算出來的模型和第四步預測出的內容標簽和V-A值，成為短視頻音樂推薦系統的后臺和數據，以便用戶根據視頻內容推薦合適的配樂。

優選的，所述的第一步中帶內容標簽的視頻集由志愿者打分或從網上下載。

優選的，所述的第二步中轉換音樂庫中的音樂文件格式為22050Hz,16bits,andmono channel PCM WAV，利用Marsyas、MIRToolbox for Matlab、PsySound或openSMILE方法選擇合適的音樂特征組合，音樂的特征包括：音樂的音色特征，即MFCC梅爾頻率倒譜系數、DWCHs小波系數直方圖、SC光譜對比度和SSDs統計頻譜描述特征；韻律特征，即節拍、旋律和頻率；強度特征，即音高、響度和子帶能量。

優選的，所述的第三步中音樂的V-A真值由MTurk網站或者個人組織志愿者進行打分得到，V、A值域為(-1,1)。

優選的，所述的第五步中，短視頻音樂推薦系統根據視頻內容推薦合適的配樂的方法，包括以下步驟：