[發明專利]基于時空外觀運動注意力網絡的微表情識別方法

有效

• 申請號: 202011186780.5
• 申請日: 2020-10-30
• 公開（公告）號: CN112307958B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 劉教民;劉燦;王巖;王建春;李揚;孟慶魯;李若曦
• 申請（專利權）人: 河北工業大學;天津商業大學;天津市農業科學院信息研究所
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V10/764;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

1.一種基于時空外觀運動注意力網絡的微表情識別方法，該方法包括以下內容：

對微表情樣本進行預處理，得到固定幀數的原始圖像序列和光流序列；

構建時空外觀運動網絡，它包括時空外觀網絡STAN和時空運動網絡STMN，STAN和STMN都采用CNN-LSTM的結構進行設計，先用CNN模型學習微表情的空間特征，再用LSTM模型學習微表情的時間特征；

STAN的CNN模型包括卷積計算、池化操作、高低層特征融合三部分，卷積計算包括多個卷積塊，每個卷積塊包括一個卷積層、一個批標準化BN層和一個ReLU激活函數；在每個卷積塊之后連接一個最大池化層；高低層特征融合是在第一個池化層和最后一個池化層之后分別通過一個1×1卷積核的卷積層和一個全局平均池化(Global?Average?Pooling，GAP)層，分別獲得全局的低層特征和高層語義特征，最后將全局的低層特征和高層語義特征通過級聯的方式實現融合，得到描述微表情序列幀的外觀信息的空間特征向量；

STMN的CNN模型包括卷積計算、池化操作和GAP三部分，卷積計算包括多個卷積塊，每個卷積塊由一個卷積層、一個批標準化層和一個ReLU激活函數構成，在每個卷積塊之后連接一個最大池化層，進行下采樣，經過卷積計算和池化操作后，提取到微表情不同的局部特征，最后，通過GAP整合這些特征，得到描述微表情序列幀的運動信息的空間特征向量；

將描述微表情序列幀的外觀信息的空間特征向量和描述微表情序列幀的運動信息的空間特征向量輸入到各自的單層的LSTM(長短期記憶網絡)中，學習幀與幀之間的相關性，得到描述微表情序列外觀信息的時空特征向量和描述微表情序列運動信息的時空特征向量，之后，通過一個全連接層，將特征空間通過線性變換映射到樣本標記空間，最后使用Softmax函數將多個神經元的輸出，映射到(0,1)區間，分別得到屬于每個微表情類別的概率值組成的特征向量；

在STAN和STMN的CNN模型中均引入分層卷積注意力機制，STAN和STMN的CNN模型的低層網絡均提取包含微表情的紋理、邊緣、輪廓的低層視覺信息，高層網絡均提取抽象的高層語義特征信息，根據高低層網絡特征之間的差異性，在低層網絡上應用多尺度核空間注意力機制應用不同的注意力機制，有效差異化空間維度的每個像素點，在高層網絡上應用全局雙池化通道注意力機制，模型自動獲取每個特征通道的貢獻度，按貢獻度提升有效特征同時抑制對微表情識別貢獻小的特征，進行自適應的特征細化；

至此，分別獲得添加注意力機制的STAN網絡和添加注意力機制的STMN網絡；

將原始圖像序列輸入到添加注意力機制的STAN網絡中進行訓練，將光流序列輸入到添加注意力機制的STMN網絡中進行訓練，將添加注意力機制的STAN網絡和添加注意力機制的STMN網絡的輸出結果通過特征級聯-SVM進行集成實現微表情識別任務，至此獲得時空外觀運動注意力網絡；

將訓練好的時空外觀運動注意力網絡用于微表情識別。

2.根據權利要求1所述的識別方法，其特征在于，所述分層卷積注意力機制為在STAN和STMN的CNN模型的低層網絡上應用多尺度核空間注意力機制，高層網絡上應用全局雙池化通道注意力機制：

多尺度核空間注意力機制是指對輸入的特征圖用不同尺度的卷積核分別進行卷積操作，在不同的感受野下提取多尺度特征，獲得不同尺度的空間特征矩陣，再通過級聯的方式對不同尺度的空間特征矩陣進行融合，再通過卷積操作獲得有效空間特征信息，用Sigmoid函數進行歸一化后得到空間注意力權重值，空間注意力權重值是模型自適應學習到的空間中每個像素點的權重值，將空間注意力權重值與輸入的特征圖相乘，獲得細化的空間注意力特征圖；

全局雙池化通道注意力機制是指對輸入的特征圖先在空間維度上使用GAP和全局最大池化(Global?Max?Pooling，GMP)聚合特征圖的空間信息，獲得全局平均池化特征向量和全局最大池化特征向量，之后，應用兩個連續的全連接層，進行自適應的參數調整，學習不同通道之間的相關性和依賴關系，經過全連接層之后，獲得兩個有效的通道特征向量，再通過元素相加的方式將兩個有效的通道特征向量進行合并，用Sigmoid函數進行歸一化處理后得到通道注意力權重值，通道注意力權重值是模型自適應學習到的每個特征通道的權重值，將通道注意力權重值和輸入特征圖相乘，得到細化的通道注意力特征圖。