[發明專利]基于雙流網絡的面部情感識別方法、裝置、介質及設備

有效

• 申請號: 202110168280.7
• 申請日: 2021-02-07
• 公開（公告）號: CN112801009B
• 公開（公告）日: 2023-02-14
• 發明（設計）人: 田翔;馮國權;劉芳;王琳
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/0442
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 霍健蘭;梁瑩

1.一種基于雙流網絡的面部情感識別方法，其特征在于：包括預處理工序、空間特征提取工序、時間相位差特征提取工序、特征融合工序以及時序結果判別工序；

所述預處理工序是指：從自然場景視頻中檢測并裁剪出人臉所在區域，并按照時間段抽取若干關鍵幀，將各個關鍵幀裁剪出的面部區域作為待識別的面部圖片I；

所述空間特征提取工序是指：通過卷積神經網絡(F_s)提取各個面部圖片I的空間特征，并通過全連接層fc_s轉化為特征向量f_s，公式表示為：

f_s＝fc_s(F_s(I)) (1)

所述時間相位差特征提取工序是指：采用方向可操縱金字塔P對面部圖片I對應的相鄰幀[I₀,I₁,...,I_N]提取用于表示微觀面部情感的多尺度的相位差特征，并通過卷積層F_t和全連接層fc_t轉換為特征向量f_t，公式表示為：

f_t＝fc_t(F_t(P([I₀,I₁,...,I_N]))) (2)

所述特征融合工序是指：將空間特征提取工序和時間相位差特征提取工序提取的特征向量f_s和f_t按照注意力分配的權重(α₀,α₁)整合，得到最終用來判別的雙流特征向量f，用公式表示為：

α₀,α₁＝fc_α0(f_s),fc_α1(f_t) (3)

f＝(fc(concat(α₀*f_s,α₁*f_t))) (4)

所述時序結果判別工序是指：通過時序網絡GRU對時間范圍內多幀面部圖片I對應的雙流特征向量f進行關聯和判別，識別宏觀面部情感，最終得到每幀面部圖片I量化的面部情感的活躍程度和積極/消極程度，從而識別面部情感；

所述時序結果判別工序中，量化的面部情感的活躍程度和積極/消極程度是通過將時間范圍內多幀圖片I對應的雙流特征向量f輸入時序網絡GRU，時序網絡GRU通過更新門和重置門更新時序狀態關聯，時序網絡GRU輸出門輸出判別結果來實現的。

2.根據權利要求1所述的基于雙流網絡的面部情感識別方法，其特征在于：所述預處理工序中，采用OpenFace對自然場景視頻分幀，并檢測以及裁剪出人臉所在區域，并通過TSN思想以間隔M幀來抽取關鍵幀。

3.根據權利要求1所述的基于雙流網絡的面部情感識別方法，其特征在于：所述空間特征提取工序中，采用基于ResNet50的卷積神經網絡提取圖形特征，之后通過全連接層fc_s、批歸一化和激活層構成的MLP結構提取特征向量f_s。

4.根據權利要求1所述的基于雙流網絡的面部情感識別方法，其特征在于：所述時間相位差特征提取工序中，對空間面部圖片對應的相鄰幀[I₀,I₁,...,I_N]進行2D傅里葉變換處理，然后采用方向可操縱金字塔P濾波和逆傅里葉變換提取得到相鄰幀[I₀,I₁,...,I_N]相位特征，之后通過幀間相減得到相位差特征，并通過減去平均值以修正剛性運動造成的誤差。