[發明專利]基于視頻內容生成情感曲線的多源情感計算系統及方法

有效

• 申請號: 202110533941.1
• 申請日: 2021-05-17
• 公開（公告）號: CN113254713B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 牛建偉;楊森
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 易卜

1.基于視頻內容生成情感曲線的多源情感計算系統，其特征在于：包括視頻內容特征提取模塊、音頻內容特征提取模塊、特征融合回歸模塊與長視頻分割與處理模塊；

所述視頻內容特征提取模塊用于從輸入視頻中提取視覺特征；

所述音頻內容特征提取模塊用于計算輸入視頻的聽覺特征；

所述特征融合回歸模塊用于對視覺特征和聽覺特征進行融合回歸，并進行回歸預測短視頻對應的情感值；

所述長視頻分割與處理模塊將輸入的原始長視頻分割成等長的短視頻，再對前述視頻內容特征提取模塊、音頻內容特征提取模塊和特征融合回歸模塊計算得到的每個短視頻的情感值，進行拼接組成整個長視頻情感序列，然后對拼接后的長視頻情感序列進行平滑化處理，得到原始輸入視頻的情感曲線；

多源情感計算方法為：

步驟1：通過視頻切割工具將長視頻v切割成等長度的短視頻片段；

步驟2：各個短視頻片段中提取視頻采樣幀，然后使用三維殘差網絡從連續的視頻采樣幀中提取短視頻內容的視覺特征Feature_visual；三維深度殘差網絡采用R3D結構，每幀圖像的大小放縮成112；深度殘差網絡的感受野在輸入張量上沿著空間和時間移動，進行卷積操作再經過ReLU激活函數后，生成輸出張量；

步驟3：計算各個短視頻片段中音頻的梅爾頻率倒譜系數，將音頻的梅爾頻率倒譜系數作為輸入提取短視頻的聽覺特征Feature_auditory；具體為使用正弦差值方法將音頻信號的采樣率降到2000赫茲，訓練18層深度殘差網絡，并采用在ImageNet上預訓練好的參數，更改其第一層卷積網絡的輸入大小為2×64，以將適配自然圖像的三顏色通道更改為適配聲音雙聲道的二通道；然后使用視頻情感分析數據集訓練微調18層ResNet模型的參數，微調后模型得到新的參數，輸出為128維的代表聽覺信息的特征Feature_auditory；

步驟4：對于每一個短視頻片段，將提取的Feature_visual和Feature_auditory進行融合，合并成統一的輸入向量Feature，然后輸入到回歸器中，進而得到每一個短視頻片段的情感值；

步驟5：對由前述步驟2～4得到每個短視頻片段的情感值進行拼接形成長視頻片段V的情感序列，并進行平滑處理；

步驟6：采用插值算法將平滑后的情感序列作為情感曲線輸出。

2.如權利要求1所述基于視頻內容生成情感曲線的多源情感計算系統，其特征在于：步驟3中，128維的特征向量Feature_visual和128維的特征向量Feature_auditory首先被歸一化處理，以統一兩者的返回和分布；然后，歸一化后的Feature_visual和Feature_auditory會被拼接成統一的256維輸入特征向量Feature；特征向量輸入到2層的全連接網絡中，輸入為256維，第一層輸出為64維；輸出為2維向量，分別表示情感喚起值和情感效價值，即[Arousal,Valence]；全連接網絡采用ReLU激活函數。

3.如權利要求1所述基于視頻內容生成情感曲線的多源情感計算系統，其特征在于：將生成的情感曲線和觀看者標注計算而來的情感序列進行相關性分析，計算兩者的斯皮爾曼等級相關系數來定量衡量情感曲線的有效性。