[發明專利]基于面部關鍵點軌跡特征圖的視頻情感識別方法

在審

• 申請號: 202110425610.6
• 申請日: 2021-04-20
• 公開（公告）號: CN113052132A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 李春國;郝培鈞;吳桐;吳昊峰;胡超;李成祥;楊綠溪
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 陳國強

1.一種基于面部關鍵點軌跡特征圖的視頻情感識別方法，其特征在于：包括以下步驟：

步驟1，對視頻序列中的視頻幀圖像進行處理，并獲得一組面部關鍵點坐標；

步驟2，計算步驟1得到的這一組面部關鍵點坐標之間的相對距離在相鄰視頻幀上的變化值矩陣，將面部關鍵點軌跡特征編碼，得到面部關鍵點軌跡特征圖；

步驟3，將視頻序列對應的一系列面部關鍵點軌跡特征圖送入CNN-LSTM深度時空網絡中進行情感識別任務。

2.根據權利要求1所述的基于面部關鍵點軌跡特征圖的視頻情感識別方法，其特征在于：所述步驟1包括：

步驟1.1，將視頻序列中的視頻幀圖像進行預處理，得到每幀圖像；

步驟1.2，通過Dlib提供的基于集成回歸樹的面部關鍵點定位方法獲取每幀圖像上的面部的68個關鍵點坐標。

3.根據權利要求2所述的基于面部關鍵點軌跡特征圖的視頻情感識別方法，其特征在于：所述步驟1.1中，視頻序列來源于RAVDESS數據集，RAVDESS數據集中的視頻幀大小為1280*720，將每幀圖像的大小調整到128*128。

4.根據權利要求1所述的基于面部關鍵點軌跡特征圖的視頻情感識別方法，其特征在于：所述步驟2包括：

步驟2.1，對于每一幀圖像，計算68個面部關鍵點之間的L2范數，并進行歸一化處理，得到維度為68*68的面部關鍵點歸一化距離矩陣，對于視頻序列，獲得一組面部關鍵點歸一化距離矩陣；

步驟2.2，對相鄰兩幀的面部關鍵點歸一化距離矩陣逐元素做差，獲得面部關鍵點歸一化距離在相鄰兩幀上的差分值矩陣，作為最終的面部關鍵點軌跡特征圖。

5.根據權利要求1所述的基于面部關鍵點軌跡特征圖的視頻情感識別方法，其特征在于：所述步驟3包括：

步驟3.1，將通過步驟2得到的一組面部關鍵點軌跡特征圖送入深度神經網絡中，從中提取抽象特征，用于生成幀級別的深度學習特征表示；

步驟3.2，將步驟3.1得到的幀級別的深度學習特征表示送入LSTM長短期記憶網絡中，學習這一組面部關鍵點軌跡特征圖之間的長期相關性，得到視頻序列級的深度學習特征表示；

步驟3.3，將步驟3.2得到的視頻序列級的深度學習特征表示輸入到全連接網絡中，然后將全連接網絡連接到Softmax層，利用softmax將網絡的輸出壓縮到0到1之間，并且輸出的和為1，表征視頻序列所屬情感類別的概率；

步驟3.4，將步驟3.3得到的概率利用交叉熵損失函數得到網絡的損失值(Loss)，通過反向誤差傳播算法優化網絡參數；

步驟3.5，在測試過程中，將由步驟2得到的一組面部關鍵點軌跡特征圖送入CNN-LSTM深度時空網絡后，會得到視頻序列對應的情感類別的概率向量，最大概率值所對應的情感類別即為視頻序列的預測情感類別。

6.根據權利要求5所述的基于面部關鍵點軌跡特征圖的視頻情感識別方法，其特征在于：所述步驟3.1中，深度神經網絡利用1×1，3×3，5×5的不同尺度卷積核并聯，從面部關鍵點軌跡特征圖中提取不同尺度的特征進行拼接，從而聚合高層次的全局特征和低層次的局部細節特征。

7.根據權利要求5所述的基于面部關鍵點軌跡特征圖的視頻情感識別方法，其特征在于：所述步驟3.2中，LSTM網絡中，信息在LSTM節點上流動，從而對這一組幀級別的深度學習特征表示進行聚合，生成視頻序列級的深度學習特征表示。