[發明專利]基于視頻內容生成情感曲線的多源情感計算系統及方法

有效

• 申請號: 202110533941.1
• 申請日: 2021-05-17
• 公開（公告）號: CN113254713B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 牛建偉;楊森
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 易卜

本發明公開一種基于視頻內容生成情感曲線的多源情感計算系統及方法，涉及深度學習、計算機視覺、情感計算、音頻處理和圖像處理等技術。本系統包括視頻內容特征提取模塊、音頻內容特征提取模塊、特征融合回歸模塊和長視頻分割與處理模塊。本方法對從短視頻片段中獲取的視頻和音頻數據利用相應的特征提取卷積神經網絡轉換為視覺特征和聽覺特征；對獲取的視覺特征和聽覺特征進行融合回歸得到視頻片段的情感值；最后組合輸出長視頻的情感序列，利用插值算法生成平滑的情感曲線。本發明實現了在計算機上計算視頻情感變化曲線的自動化方法和系統，保留了觀看者手工情感標注的特征，輸出結果平滑自然，視覺效果更高，后續分析利用價值更大。

技術領域

本發明涉及深度學習技術、計算機視覺技術和視頻處理技術，具體涉及一種基于視頻內容生成情感曲線的多源情感計算系統及方法，是一種視頻內容到情感曲線的生成技術。

背景技術

本發明所涉及的視頻特指時長在1分鐘以上的長視頻，其通常包含視頻內容和對應的音頻數據。情感曲線特指視頻帶給觀看者的情感反饋隨時間的變化。情感由效價(Valence)和喚起(Arousal)2維情感值組成。效價表示情感的積極消極程度，喚起表示情感的強烈程度。計算視頻的情感曲線是一項視頻到情感曲線的轉換任務，其目的為將輸入的視頻轉化為情感曲線。近年來，基于深度學習的視頻內容理解取得了顯著進展，最近的研究提出了一系列系統的方法。例如，基于卷積神經網絡(Convolutional Neural Network,CNN)方法；基于循環神經網絡(Recurrent Neural Network,RNN)的方法。

然而，基于現有的技術，面向視頻情感曲線的計算方法通常針對視頻內容或音頻內容進行計算，其難以利用綜合的信息和特征，其生成的情感曲線變化與視頻給觀眾帶來的情感波動不符，無法直接作為視頻的情感表示用于進一步處理。

發明內容

本發明的目的是提供一種基于二維和三維卷積神經網絡，根據視頻的視覺內容和聽覺內容生成情感曲線的自動化方法和系統，以解決現有技術由視頻生成情感表示的各種性能的綜合效果較差的問題。

本發明基于視頻內容生成情感曲線的多源情感計算系統，包括視頻內容特征提取模塊、音頻內容特征提取模塊、特征融合回歸模塊與長視頻分割與處理模塊。其中，視頻內容特征提取模塊用于從輸入視頻中提取視覺特征。音頻內容特征提取模塊用于計算輸入視頻的聽覺特征。特征融合回歸模塊用于對視覺特征和聽覺特征進行融合回歸，并進行回歸預測短視頻對應的情感值。長視頻分割與處理模塊將輸入的原始長視頻分割成等長的短視頻，再利用前述視頻內容特征提取模塊、音頻內容特征提取模塊和特征融合回歸模塊計算每個短視頻的情感值，進行拼接組成整個長視頻情感序列，然后對拼接后的長視頻情感序列進行平滑化處理，得到原始輸入視頻的情感曲線。

針對上述基于視頻內容生成情感曲線的多源情感計算系統，其多源情感計算方法為：

步驟1：通過視頻切割工具將長視頻V切割成等長度的短視頻片段。

步驟2：各個短視頻片段中提取視頻采樣幀，然后使用三維殘差網絡從連續的視頻采樣幀中提取短視頻內容的視覺特征Feature_visual。

步驟3：計算各個短視頻片段中音頻的梅爾頻率倒譜系數，將音頻的梅爾頻率倒譜系數作為輸入提取短視頻的聽覺特征Feature_auditory。

步驟4：對于每一個短視頻片段，將提取的Feature_visual和Feature_auditory進行融合，合并成統一的輸入向量Feature，然后輸入到回歸器中，進而得到每一個短視頻片段的情感值。

步驟5：對由前述步驟2～4得到每個短視頻片段的情感值進行拼接形成長視頻片段V的情感序列，并進行平滑處理。

相對于現有技術，本發明方法和系統的優點和積極效果在于：