[發明專利]一種基于深度殘差注意力網絡的視頻表情識別方法

在審

• 申請號: 202010436500.5
• 申請日: 2020-05-21
• 公開（公告）號: CN111797683A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 趙小明;張石清
• 申請（專利權）人: 臺州學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏

1.一種基于深度殘差注意力網絡的視頻表情識別方法，其特征在于，所述方法包括以下步驟：

S1、對視頻樣本進行視頻數據預處理；

S2、采用深度殘差注意力網絡進行人臉圖像的表情特征提取；

S3、對步驟S2中提取后的特征進行一定處理后再進行訓練和測試，并輸出最終的人臉表情的分類結果。

2.根據權利要求1所述的一種基于深度殘差注意力網絡的視頻表情識別方法，其特征在于，所述步驟S1包括以下步驟：

S1.1、首先對每一個視頻樣本，篩選出apex時期的圖像幀；

S1.2、采用haar-cascades檢測模型進行人臉檢測。

3.根據權利要求2所述的一種基于深度殘差注意力網絡的視頻表情識別方法，其特征在于，所述步驟S1.2中的人臉檢測包括以下步驟：

步驟1、首先將輸入的圖片轉為灰度圖像，去除色彩干擾；

步驟2、設置搜索人臉框的大小，依次在輸入圖像中尋找人臉，找到人臉后截取后保存；

步驟3、根據兩只眼睛之間的標準距離大小，從原始人臉表情圖像中裁剪出包含嘴巴、鼻子、額頭等關鍵表情部位的圖像，作為深度殘差注意力網絡的輸入。

4.根據權利要求1所述的一種基于深度殘差注意力網絡的視頻表情識別方法，其特征在于，所述步驟S2包括以下步驟：

S2.1、建立深度殘差注意力網絡，并對預處理后的視頻數據提取每一幀人臉圖像的特征，建立視頻情感數據集；

S2.2、利用其它數據集上預訓練好的模型對所述的視頻表情數據集進行微調訓練。

5.根據權利要求4所述的一種基于深度殘差注意力網絡的視頻表情識別方法，其特征在于，所述深度殘差注意力網絡包括三個殘差注意模塊，所述殘差注意模塊包括主干分支和掩膜分支，所述主干分支包括殘差單元。

6.根據權利要求4所述的一種基于深度殘差注意力網絡的視頻表情識別方法，其特征在于，所述步驟S2.2包括以下步驟：

步驟1、拷貝在cifar-10數據集上預訓練好的深度殘差注意力網絡模型參數；

步驟2、將cifar-10的10類圖像類別數目改為視頻情感數據集的表情類別數目；

步驟3、使用反向傳播算法重新訓練該網絡模型，以更新網絡模型的權重參數；

步驟4、微調訓練結束后，將深度殘差注意力網絡最后一層全連接層的輸出作為學習到的高層次人臉表情特征，用于后續多層感知器的表情分類。

7.根據權利要求6所還的一種基于深度殘差注意力網絡的視朔表情識別萬法，具特征在于，所述步驟S2.2中微調訓練的流程具體如下公式所示：

X＝{x_i|(i＝1，2，...，N)} (1)

minH(P(x_i)，y_i)＝-∑_x(P(x_i)logy_i) (2)

其中：i代表該視頻中的第i幀圖片，x_i代表第i幀的人臉圖像，y_i表示該視頻的表情標簽，H表示最小化損失函數，P(x_i)代表輸入人臉圖像x_i時網絡模型的輸出預測值。

8.根據權利要求5所述的一種基于深度殘差注意力網絡的視頻表情識別方法，其特征在于，所述殘差注意模塊由如下公式表示：

其中，所述表示殘差注意模塊輸出特征，表示主干分支征輸出特征，表示掩膜分支輸出特征，(i，k)為特征的空間位置坐標，c∈{0，1，…，C}為特征通道的索引值。

9.根據權利要求1所述的一種基于深度殘差注意力網絡的視頻表情識別方法，其特征在于，所述步驟S3包括以下步驟：完成視頻中每一幀人臉圖像的特征提取之后，對一個視頻中所有幀圖像學習到的注意力特征進行平均池化操作，計算出固定長度的全局性視頻表情特征參數，將所述全局性視頻表情特征參數輸入到多層感知器進行訓練和測試，獲得人臉表情的分類結果。