[發明專利]一種場景級上下文感知的情感識別深度網絡方法

有效

• 申請號: 202010664287.3
• 申請日: 2020-07-10
• 公開（公告）號: CN111985532B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 孫強;張龍濤
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 寧文濤

1.一種場景級上下文感知的情感識別深度網絡方法，其特征在于，具體包括以下步驟：

步驟1、采集圖像，確定訓練樣本集X_in和測試樣本集X_tn；

步驟2、讀取訓練樣本集X_in中每個樣本的身體標注值與原始情感標注值，依據身體標注值提取每個樣本的身體部位，得到身體部位圖像集X_B；

步驟3、對訓練樣本集X_in進行集合內歸一化處理，得到上下文情感圖像集X_im；對身體部位圖像集X_B進行集合內歸一化處理，得到歸一化的身體部位圖像集X_body；

步驟4、將歸一化的身體部位圖像集X_body送入上層的卷積神經網絡提取身體部位情感特征T_F，并將上下文情感圖像集X_im送入下層的卷積神經網絡提取場景級上下文情感特征T_C；

步驟5、將身體部位情感特征T_F與場景級上下文情感特征T_C分別送入上層的自適應層和下層的自適應層進行特征自適應學習，上層的自適應層輸出身體部位融合權重λ_F，下層的自適應層輸出上下文融合權重λ_C；

步驟6、將身體部位情感特征T_F、場景級上下文情感特征T_C與身體部位融合權重λ_F、上下文融合權重λ_C進行加權融合得到結合上下文信息的情感融合特征T_A，然后將T_A經過全連接層線性映射，得到arousal和valence的初始預測值，采用KL散度損失函數，衡量arousal和valence初始預測值與對應的原始情感標注值之間的損失，通過網絡反向傳播，多次迭代，更新網絡權重，逐漸減少損失，使算法逐步收斂，完成訓練，得到網絡模型；

步驟7、按照步驟2提取測試樣本集X_tn中每一個測試樣本的身體部位，獲得測試身體部位圖像集X_tB，接著按照步驟3分別對測試樣本集X_tn和測試身體部位圖像集X_tB進行歸一化處理后，送入步驟6所得的網絡模型，最終得到測試樣本集X_tn的arousal和valence預測標簽值。

2.根據權利要求1所述的一種場景級上下文感知的情感識別深度網絡方法，其特征在于，所述步驟2中對訓練樣本集X_in進行身體部位提取的具體步驟為：

步驟2.1、讀取訓練樣本集X_in中每個樣本的身體標注(B_x1,B_y1,B_x2,B_y2)，其中(B_x1,B_y1,)，(B_x2,B_y2)為身體部位所在的斜對角的兩點坐標，通過公式(1)計算位置與尺寸參數集其中：

公式(1)中，B_w表示身體部位圖像的寬度，B_h表示身體部位圖像的寬度；

步驟2.2、根據步驟1.1中得到的參數集對訓練樣本集X_in中的每個樣本進行裁剪，最終得到身體部位圖像集X_B。

3.根據權利要求1所述的一種場景級上下文感知的情感識別深度網絡方法，其特征在于，所述步驟3中對訓練樣本集X_in進行集合內歸一化處理的公式如下：

公式(2)中，X_in為訓練樣本集，X_im為上下文情感圖像集，σ為訓練樣本集的標準差圖像，x_mean為訓練樣本集的均值圖像；

公式(2)中x_mean和σ定義如下：

公式(3)和(4)中，x_i表示訓練樣本集X_in中的任一單個樣本，n表示總的訓練樣本個數，n≥1。