[發明專利]一種基于自適應融合網絡的視頻情感分類方法

有效

• 申請號: 201910069977.1
• 申請日: 2019-01-24
• 公開（公告）號: CN109815903B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 王瀚漓;易云
• 申請（專利權）人: 同濟大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

本發明涉及一種基于自適應融合網絡的視頻情感分類方法，包括以下步驟：1)構建自適應融合網絡模型；2)將輸入的視頻集人分為訓練集和測試集，并獲取視頻集中每個視頻的三個模態特征向量，所述的三個模態為RGB、光流和音頻；3)對于訓練集，分別將三個模態的特征向量輸入自適應融合網絡，并采用基于梯度的優化算法進行優化，得到訓練好的自適應融合網絡模型Model；4)對于測試集，將每個視頻的特征向量輸入訓練好的網絡模型Model，并預測視頻情感進行分類。與現有技術相比，本發明具有視頻情感識別準確率高、描述視頻情感準確、數據輸入健壯、魯棒性好等優點。

技術領域

本發明涉及社交網絡和多媒體技術領域，尤其是涉及一種基于自適應融合網絡的視頻情感分類方法。

背景技術

在過去的十年中，社交網絡和多媒體技術取得巨大的成功，導致產生海量的視頻，所以自動分析視頻內容變得越來越重要。視頻情感分析是視頻內容分析領域一個活躍的研究課題。視頻片段的情感可以被定義為當人們觀看視頻時產生情感的強度和類型。視頻情感分析的目標是自動識別視頻引發的情感。與其他視頻內容分析技術一樣，情感分析具有大量的應用場景，如：人機交互、基于情感的個性化內容傳送等。

雖然近年來對情感分析的研究取得了令人矚目的進展，但對電影所引發的情感分類仍然是一項具有挑戰的任務，并且視頻情感分析的實驗結果較低。首先，由于認知偏差，環境影響等原因，難以獲得可靠的標簽。其次，視頻低層特征與觀眾的情感反應之間的關系仍然沒有得到很好的理解，而且該關系可能會隨著觀眾或環境的不同而變化。因此，近年來MediaEval組織了針對情感分析的比賽。

一般而言，人們通過多種模態的信息來感知世界，如：視覺和聲音等。當觀看恐怖電影時，圖像和聲音讓人感到恐懼。先前的研究使用多個視聽特征，但是其中大多數使用經典的方案(如：前融合，后融合等)來組合多個特征，所以忽略多個模態之間的相關性。之前的場景和聲音會影響目前的情感，因此多個模態的權重和時間輸入的相關性對于分析視頻情感非常重要。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種魯棒性好、準確率高的基于自適應融合網絡的視頻情感分類方法。

為了解決這些問題，本發明設計一個自適應融合網絡，它可以分別學習多個模態和時間輸入的權重，具體而言，提出統計數據層來獲得魯棒的輸入信息，提出時間自適應融合層來組合多個時間輸入，提出多模自適應融合層來組合多個模態。選擇從三個預訓練卷積神經網絡提取的三個特征作為自適應融合網絡的輸入，再將這些特征向量分別饋送到遞歸神經網絡(Recurrent Neural Networks，RNN)細胞。由于人類從所有時間輸入中感知情感，所以RNN細胞的所有輸出被連接到一個共享參數的全連接層(Fully Connected，FC)。在優化該網絡的過程中，使用基于梯度的優化算法分別學習時間輸入和特征的自適應權重。

發明的目的可以通過以下技術方案來實現：

一種基于自適應融合網絡的視頻情感分類方法，用以對電影所引發的情感進行分類回歸，包括以下步驟：

1)構建自適應融合網絡模型，包括：依次設置的統計數據層、循環層、全連接層、時間自適應融合層、多模自適應融合層和損失函數層；

2)將輸入的視頻集分為訓練集和測試集，并獲取視頻集中每個視頻的三個模態特征向量，所述的三個模態為RGB、光流和音頻；

3)對于訓練集，分別將三個模態的特征向量輸入自適應融合網絡，并采用基于梯度的優化算法進行優化，得到訓練好的自適應融合網絡模型Model；

4)對于測試集，將每個視頻的特征向量輸入訓練好的網絡模型Model，并預測視頻情感進行分類。

所述的步驟1)具體包括以下步驟：