[發明專利]一種基于自適應融合網絡的視頻情感分類方法

有效

• 申請號: 201910069977.1
• 申請日: 2019-01-24
• 公開（公告）號: CN109815903B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 王瀚漓;易云
• 申請（專利權）人: 同濟大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

1.一種基于自適應融合網絡的視頻情感分類方法，用以對電影所引發的情感進行分類回歸，其特征在于，包括以下步驟：

1)構建自適應融合網絡模型，包括：依次設置的統計數據層、循環層、全連接層、時間自適應融合層、多模自適應融合層和損失函數層，具體包括以下步驟：

1a)采用由RGB模態、光流模態和音頻模態構成的序列表示給定的視頻，記每個模態的序列為V＝{v₁,v₂,…,v_L}，將序列V分成T＝L/N個分段S_i＝{v_i,v_i+1,…,v_i+N}，計算時間序列上所有分段S_i的算術平均值E(S_i)和標準差D(S_i)，則在經過統計數據層后，序列V由X＝{x₁,…,x_T}表示，其中，L為序列V的長度，N為采樣間隔，i∈[1,T]，x_i＝con(E(S_i),D(S_i))為E(S_i)和D(S_i)的連接；

1b)給定模態m的輸入序列M為模態總數，經過循環神經網絡層和全連接層后，輸入序列X^m映射到全連接層的輸出

其中，f為循環層函數，為第m個模態的RNN隱藏狀態，T為輸入序列X^m的長度，W_h為映射隱藏狀態H的權重矩陣，b為偏置項；

時間自適應融合層將映射到該層的輸出p^m，則有：

其中，e_t是第t個輸出的自適應權重，⊙表示矩陣的數乘運算；

1c)以p^m作為輸入，多模自適應融合層的輸出p定義為：

其中，u^m是第m個模態的自適應權重；

2)將輸入的視頻集分為訓練集和測試集，并獲取視頻集中每個視頻的三個模態特征向量，所述的三個模態為RGB、光流和音頻；

3)對于訓練集，分別將三個模態的特征向量輸入自適應融合網絡，并采用基于梯度的優化算法進行優化，得到訓練好的自適應融合網絡模型Model；

4)對于測試集，將每個視頻的特征向量輸入訓練好的網絡模型Model，預測視頻情感進行分類。

2.根據權利要求1所述的一種基于自適應融合網絡的視頻情感分類方法，其特征在于，所述的步驟2)中，獲取RGB模態、光流模態和音頻模態的特征向量具體包括以下步驟：

2a)提取視頻的RGB圖像，基于Inception-V3網絡模型，在Kinetics數據集上訓練模型M_RGB，以每一個視頻的RGB圖像作為輸入，使用模型M_RGB獲取RGB圖像的特征向量；

2b)采用TV-L1光流算法，從視頻的第二幀開始，計算每一幀的X和Y方向光流矩陣，以光流矩陣作為Inception-V3網絡的輸入，在Kinetics數據集上訓練模型M_光流，以每一個視頻的光流作為輸入，采用模型M_光流獲取光流的特征向量；

2c)提取視頻的音頻文件，基于VGGish網絡模型，在AudioSet數據集上訓練模型M_音頻，以每一個視頻的音頻作為輸入，采用模型M_音頻獲取所有音頻文件的特征向量。