[發明專利]一種短視頻音樂推薦方法

在審

• 申請號: 201910737570.1
• 申請日: 2019-08-12
• 公開（公告）號: CN110427518A
• 公開（公告）日: 2019-11-08
• 發明（設計）人: 孫偉芳
• 申請（專利權）人: 央視國際網絡無錫有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06F16/783;G06F16/683;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種短視頻音樂推薦方法，其特征是該方法包括以下步驟：

第一步：用帶內容標簽的視頻集，訓練視頻分類模型；

第二步：轉換用以訓練模型的音樂庫中的音樂文件格式為同一個所需要的格式，并選擇合適的音樂特征組合，提取出音樂的特征，得到音樂庫中每首音樂的特征集；

第三步：獲取音樂的V-A真值，并根據第一步中視頻集的內容標簽為音樂貼標簽，得到貼好內容標簽的音樂集；

第四步：根據第二步中得到的音樂庫特征集和第三步中得到的V-A真值輸入情感回歸算法訓練得到音樂情感預測模型，將第三步中貼好內容標簽的音樂集和V-A真值輸入多標簽分類算法訓練得到基于V-A預測內容的模型，保存這兩個模型；將待分析音頻庫按照第二步預處理并提取特征之后，將待分析音頻庫中每一個音樂文件的特征依次輸入上面訓練出來的兩個模型中，預測出內容標簽和V-A值，結果表示為songid、label、Valence、Arousal；

第五步：由第一～四步所計算出來的模型和第四步預測出的內容標簽和V-A值，成為短視頻音樂推薦系統的后臺和數據，以便用戶根據視頻內容推薦合適的配樂。

2.如權利要求1所述的一種短視頻音樂推薦方法，其特征是所述的第一步中帶內容標簽的視頻集由志愿者打分或從網上下載。

3.如權利要求1所述的一種短視頻音樂推薦方法，其特征是所述的第二步中轉換音樂庫中的音樂文件格式為22050Hz,16bits,and mono channel PCM WAV，利用Marsyas、MIRToolbox for Matlab、PsySound或openSMILE方法選擇合適的音樂特征組合，音樂的特征包括：音樂的音色特征，即MFCC梅爾頻率倒譜系數、DWCHs小波系數直方圖、SC光譜對比度和SSDs統計頻譜描述特征；韻律特征，即節拍、旋律和頻率；強度特征，即音高、響度和子帶能量。

4.如權利要求1所述的一種短視頻音樂推薦方法，其特征是所述的第三步中音樂的V-A真值由MTurk網站或者個人組織志愿者進行打分得到，V、A值域為(-1,1)。

5.如權利要求1-4任一項所述的一種短視頻音樂推薦方法，其特征是所述的第五步中，短視頻音樂推薦系統根據視頻內容推薦合適的配樂的方法，包括以下步驟：

1)首先根據V-A值的在Arousal-Valence情感維度空間模型的坐標軸中的分布確定音樂的情感情緒，當Valence>0時，音樂情緒為積極，當Valence<0時，音樂情緒為消極；

2)然后輸入待分析短視頻到視頻分類算法，并進行分析輸出視頻內容標簽，內容標簽輸入短視頻音樂推薦系統，選擇所需要的音樂情緒，從音樂庫輸出相應的音樂集；

3)再根據Arousal值對取出的音樂集進行排序，先推薦中間N首音樂，再根據用戶自己選擇“節奏增強”或者“節奏減弱”推薦所需不同節奏的音樂。

6.如權利要求5所述的一種短視頻音樂推薦方法，其特征是所述的短視頻音樂推薦系統根據視頻內容推薦合適的配樂的方法中，用戶根據需要導入音樂庫，導入的音樂庫經過多標簽分類算法和情感回歸算法預測出對應的V-A值和對應的內容標簽，補充短視頻音樂推薦系統的后臺數據。