[發明專利]一種基于視頻的情感識別方法及裝置

在審

• 申請號: 202010324104.3
• 申請日: 2020-04-22
• 公開（公告）號: CN111507421A
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 徐寶函
• 申請（專利權）人: 上海極鏈網絡科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種基于視頻的情感識別方法，其特征在于，包括：

確定待識別視頻的初始特征數據；

將所述初始特征數據輸入到預先訓練完成的情感識別模型中，得到與所述待識別視頻對應的情感識別結果；

其中，所述情感識別模型包括物體關系識別模型、特征提取模型和情感分類模型，其中，所述物體關系識別模型用于識別所述待識別視頻中的物體關系，所述特征提取模型用于提取所述初始特征數據的至少一種視頻特征，所述情感分類模型用于基于所述物體關系和所述視頻特征確定所述待識別視頻的情感識別結果。

2.根據權利要求1所述的方法，其特征在于，所述初始特征數據包括RGB圖像數據、光流圖像數據、音頻數據和文本數據中的至少一項；

其中，所述將所述初始特征數據輸入到預先訓練完成的情感識別模型中，得到與所述待識別視頻對應的情感識別結果，包括：

將所述RGB圖像數據輸入到所述物體關系識別模型中，得到輸出的物體關系特征；

將所述初始特征數據輸入到所述特征提取模型中，得到輸出的與各初始特征數據對應的視頻特征；

將所述物體關系特征和所述視頻特征輸入到所述情感分類模型中，得到輸出的情感識別結果。

3.根據權利要求2所述的方法，其特征在于，所述物體關系識別模型用于：

提取所述RGB圖像數據中的視覺特征、位置特征和語義特征；

將所述視覺特征、位置特征和語義特征進行融合得到融合特征，并基于所述融合特征得到所述RGB圖像數據中的物體關系特征。

4.根據權利要求3所述的方法，其特征在于，所述物體關系識別模型還用于：

針對每種物體關系特征，構建與所述物體關系特征對應的注意力圖，并根據能量函數計算得到與所述注意力圖對應的激活程度；

基于各所述激活程度，得到超過預設閾值的激活程度對應的物體關系特征。

5.根據權利要求4所述的方法，其特征在于，所述根據能量函數計算得到與所述注意力圖對應的激活程度，包括：

根據能量函數和滑動窗口，計算所述注意力圖在至少一個窗口區域內的激活程度；

將所述各窗口區域內的滿足預設激活條件的激活程度作為與所述注意力圖對應的激活程度，其中，所述預設激活條件包括最大激活程度。

6.根據權利要求2所述的方法，其特征在于，所述情感分類模型用于：

將所述物體關系特征和所述視頻特征分別映射到關系特征情感空間和視頻特征情感空間；

基于所述映射后的物體關系特征和視頻特征確定情感識別結果。

7.根據權利要求2-6任一所述的方法，其特征在于，所述情感分類模型的訓練方法包括：

基于所述物體關系識別模型和特征提取模型，確定待訓練視頻的待訓練物體關系特征和待訓練視頻特征；

將所述待訓練物體關系特征和待訓練視頻特征分別映射到關系特征情感空間和視頻特征情感空間；

基于所述映射后的待訓練物體關系特征和待訓練視頻特征確定特征損失函數，并基于特征損失函數和分類損失函數對初始情感分類模型的參數進行調整得到訓練完成的情感分類模型。

8.根據權利要求7所述的方法，其特征在于，所述特征損失函數滿足公式：

其中，R和V分別表示關系特征情感空間和視頻特征情感空間，i表示第i個視頻，m和m'表示關系特征情感空間中的物體關系特征或視頻特征情感空間中的視頻特征，f_i^m(k)表示k情感空間中第i個視頻m特征，f_i^m'(k)表示k情感空間中第i個視頻m'特征。

9.根據權利要求2所述的方法，其特征在于，所述物體關系識別模型的訓練方法還包括：

基于排序損失函數對初始物體關系識別模型的參數進行調整得到訓練完成的物體關系識別模型；

相應的，所述物體關系識別模型的輸出結果還包括：各物體關系特征的排序等級。

10.一種基于視頻的情感識別裝置，其特征在于，包括：

初始特征數據確定模塊，用于確定待識別視頻初始特征數據；

情感識別結果輸出模塊，用于將所述初始特征數據輸入到預先訓練完成的情感識別模型中，得到與所述待識別視頻對應的情感識別結果；

其中，所述情感識別模型包括物體關系識別模型、特征提取模型和情感分類模型，其中，所述物體關系識別模型用于識別所述待識別視頻中的物體關系，所述特征提取模型用于提取所述初始特征數據的至少一種視頻特征，所述情感分類模型用于基于所述物體關系和所述視頻特征確定所述待識別視頻的情感識別結果。