[發明專利]一種基于注意力機制的自適應微表情識別方法

有效

• 申請號: 202110758045.5
• 申請日: 2021-07-05
• 公開（公告）號: CN113449661B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 鄭文明;魏夢婷;宗源;趙力
• 申請（專利權）人: 東南大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王安琪

1.一種基于注意力機制的自適應微表情識別方法，其特征在于，包括如下步驟：

(1)獲取一個微表情數據庫，對數據庫中的所有圖像序列進行人臉檢測，人臉校準，面部區域裁剪的工作，最終獲得只包含面部區域的圖像，數據庫中的一個受試者作為測試集，剩下的最為訓練集；

(2)從預處理后的每個微表情圖像序列中以一定的間隔選取一定數量的圖像，每張圖像采用基于運動放大的方法依次放大1-9倍；

(3)對單張圖像的一組放大圖像使用Resnet-18骨干網絡進行特征提取，得到每個放大圖像對應的特征向量，對這一組特征向量使用注意力機制，注意力機制由一個全連接層和一個sigmoid函數組成，添加了注意力權重的特征向量之后被整合為一個向量；

(4)經過上述步驟，序列中的每張圖像都對應有一個特征向量，對同一序列中的這些特征向量再次使用注意力機制，添加了注意力權重的特征向量再次被整合成為一個向量；

(5)將經過上述步驟得到的特征向量經過一個全連接層，全連接層的輸出維度與數據庫的表情類別數一致，在全連接層后添加softmax層，計算訓練數據對應的softmax層輸出以及其情感類別標簽之間的交叉熵，將該交叉熵作為網絡損失，采用反向傳播算法更新網絡參數，完成網絡訓練；

(6)將測試數據集以同樣的方式進行預處理，得到其對應的特征向量，并將特征向量輸入訓練好的網絡，輸出中維數最大的類別即為識別的情感類別。

2.如權利要求1所述的基于注意力機制的自適應微表情識別方法，其特征在于，步驟(2)中所述放大圖像的表示為：

I_magnified＝I_onset+(I_seleted-I_onset)×amp_i

式中，I_magnified表示放大后圖像，I_onset表示微表情序列的起始幀，I_selected表示選取的圖像幀，amp_i表示放大因子，值設置為1-9。

3.如權利要求1所述的基于注意力機制的自適應微表情識別方法，其特征在于，步驟(3)中所述使用Resnet-18骨干網絡進行特征提取得到方法圖像對應的特征向量的計算方法為：

F_i＝f(cony(I_magnified，W_c)+b_c)

式中，F_i表示放大圖像對應的特征向量，I_magnified表示骨干網絡的輸入，W_C、b_C分別為權重參數、偏置參數，有一部分通過網絡訓練得到，另外一部分為骨干網絡原始參數不參與更新，conv()表示卷積函數，φ為激活函數，且φ(·)＝max(0，·)。

4.如權利要求1所述的基于注意力機制的自適應微表情識別方法，其特征在于，步驟(3)中所述對每張放大圖像施加注意力權重的計算方法為：

式中，α_i為單張放大圖像的注意力權重值，表示放大圖像經過骨干網絡特征提取后得到的特征向量，q⁰表示全連接層的參數，通過網絡訓練得到，σ表示sigmoid函數。

5.如權利要求1所述的基于注意力機制的自適應微表情識別方法，其特征在于，步驟(3)中所述將添加注意力權重的特征向量整合為一個特征向量的計算方法為：

式中，F_m表示單張圖像整合后得到的特征向量，α_i為單張放大圖像的注意力權重值，表示放大圖像經過骨干網絡特征提取后得到的特征向量。