[發明專利]一種基于殘差神經網絡和注意力機制的微表情識別方法

在審

• 申請號: 202111362700.1
• 申請日: 2021-11-17
• 公開（公告）號: CN114038041A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 董成龍;徐夢奇
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/25;G06V10/764;G06V10/44;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

本發明公開了一種基于殘差神經網絡和注意力機制的微表情識別方法，結合了殘差神經網絡和時空注意力機制。為提高微表情識別準確率，設計了一種ME?Attention模塊，該模塊利用空間注意力機制聚焦于微表情發生區域并增強該區域權重，利用時間注意力機制找出圖像序列中微表情強度比較高的幀賦予更大權重。由于深層網絡會在訓練過程中遇到梯度消失的問題，導致識別準確率降低，而殘差連接可以解決梯度消失的問題，因此將現有技術中的殘差神經網絡與本申請提出的ME?Attention模塊進行融合，作為網絡基本塊，用16個基本塊堆疊構成本申請的網絡模型。實驗結果顯示本申請的深度神經網絡在微表情識別任務上的準確率比現有方法高。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于殘差神經網絡和注意力機制的微表情識別方法。

背景技術

目前計算機視覺和深度學習技術廣泛應用于人臉識別系統，如表情識別、自動考勤、刷臉支付等領域。

微表情特指持續時間在0.04s至0.2s的無意識的細微的自發面部行為。由于微表情與人的心理活動密切相關且無法偽裝或掩蓋，因此微表情可以反映人的真實情感。微表情識別已經被廣泛應用于醫療診斷、商業談判、國家安全、司法審訊和許多人機交互系統。微表情識別是指將攝像頭采集到的一系列數字圖像作為輸入，由算法對輸入圖像進行處理，最終輸出一個情感類型作為情感判斷的依據。

在微表情識別領域，由于微表情具有持續時間短暫、面部肌肉變化細微的特點，這些特點導致無論是人工識別或者計算機識別。最終的準確率都不高。

若采用深度學習方法來識別微表情，有兩個方面需要考慮。第一，在識別過程中，神經網絡的每一層都會提取到特定的信息，然而由于微表情發生區域較小且表情強度弱，需要神經網絡在層中都聚焦于微表情發生區域，才能達到比較好的特征提取效果。第二，微表情通常是一段視頻序列幀，需要注意微表情從未發生到發生到結束的時間點，著重注意這個序列中有微表情的幀。現有技術中，尚未出現同時綜合考慮這兩個方面的微表情識別方法。

發明內容

針對現有技術的不足，本發明提出了一種基于殘差神經網絡和注意力機制的微表情識別方法，設計了一種結合殘差神經網絡和時空注意力機制的深度神經網絡。通過ME注意力模塊，利用空間注意力機制聚焦于微表情發生區域并增強該區域權重，利用時間注意力機制找出圖像序列中微表情強度比較高的幀賦予更大權重。提高微表情識別準確率。

一種基于殘差神經網絡和注意力機制的微表情識別方法，具體包括以下步驟：

步驟一、構建ME注意力模塊

ME注意力模塊輸入層的輸出包括4個分支，其中第2、第4分支不經過任何處理。第1分支依次經過平均池化層、全連接層、ReLu激活函數、全連接層和Sigmoid激活函數，再與第2分支相乘后作為空間賦權結果。第3分支依次經過平均池化層、卷積層和Sigmoid激活函數，再與第4分支相乘后作為時間賦權結果。將空間賦權結果與時間賦權結果相加后，作為結果輸出。

步驟二、構建網絡基本塊

依次連接輸入層、1x1卷積層、3x3卷積層、1x1卷積層與輸出層，得到特征提取模塊。再將特征提取模塊的輸入與輸出殘差連接，得到殘差單元。將步驟一構建的ME注意力模塊的輸入與殘差單元的3x3卷積層的輸出相連，輸出與殘差單元的輸出相加后送入輸出層，得到網絡基本塊Block。

步驟三、構建識別網絡