[發明專利]一種基于深度神經網絡的微表情檢測方法

在審

• 申請號: 202110348364.9
• 申請日: 2021-03-31
• 公開（公告）號: CN113095183A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 夏召強;梁桓;黃東;馮曉毅;蔣曉悅
• 申請（專利權）人: 西北工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.本發明提出了一種基于深度神經網絡的微表情檢測方法，其特征主要分為四個部分：數據預處理、圖像序列的運動特征描述、網絡模型的構建和網絡模型的訓練與微表情檢測；

(1)數據預處理

本發明對將要輸入深度神經網絡的數據進行預處理，減少因人臉的大小和位置等因素對人像檢測所帶來的影響，包含三步：對圖像進行多尺度檢測識別人臉、對人臉檢測所得到的結果進行處理、對視頻序列進行統一切割處理；將每段視頻的第一幀圖像作為參考幀，以長視頻的第一幅人臉圖像為模型臉，獲取模型臉的切割矩陣，切割矩陣用來對視頻序列剩余圖像進行切割，從而完成數據預處理；

(2)圖像序列的運動特征描述

通過光流法，提取視頻序列的運動特征，光流場是一個二維矢量場，它反映了圖像上每一點灰度的變化趨勢；算法假設物體上同一個點在圖像中的灰度是不變的，即使物體發生了運動，即：

I(x,y,t)＝I(x+Δx,y+Δy,t+Δt) (1)

在t時刻，像素點(x,y)處灰度值為I(x,y,t)；在(t+Δt)，該點運動到新的位置，它在圖像上的位置變為(x+Δx,y+Δy)，灰度值記為I(x+Δx,y+Δy)；

設u和v分別為該點的光流矢量沿x和y方向的兩個分量：

將式(1)右邊用泰勒公式展開，忽略二次及以上的高次項，且視頻序列中Δt→0，于是有：

I_xu+I_yv+I_t＝0 (3)

式(3)是光流基本等式，設I_x,I_y和I_t分別為參考點像素的灰度值沿x,y,t這三個方向的偏導數；在求解光流(u,v)時，要求光流本身盡可能地平滑，即引入對光流的整體平滑性約束求解光流方程病態問題；對u,v的附加條件如下：

式中是u的拉普拉斯算子，是v的拉普拉斯算子，綜合式(3)和式(4)，算法將光流u,v計算歸結為如下問題：

因而，可以得到其相應的歐拉-拉格朗日方程，并利用高斯-塞德爾方法進行求解，得到圖像每個次置第一次至第(n+1)次迭代估計(uⁿ⁺¹,vⁿ⁺¹)為：

經過迭代計算便得到最終光流場，對視頻序列每幀圖像都提取光流特征，得到整個光流特征序列；

對光流特征序列歸一化處理，視頻中相鄰兩幀的時間間隔很短，兩幀中的內容變化較小，因此，可以將兩幀中內容的變化看作線性運動；求出該線性運動的運動軌跡，就能根據該運動軌跡和輸入輸出幀的時間關系進行內容位置的調整；前后兩幅圖像的像素值大小以及時間為(B₁,t₁),(B₂,t₂)，使用公式(8)得到中間幀即輸出幀為(B,t)；

(3)網絡模型的構建

本發明提出一個卷積神經網絡與門控循環單元相結合檢測微表情的網絡模型；門控循環單元(GRU)是RNN網絡的一種，能夠描繪連續時間內特征的變化；而卷積神經網絡(CNN)則能夠提取單幀圖像的特征，兩者結合則能發揮每個網絡的優勢；具體結合方式為n幅圖像經過CNN后，首先輸入到第一層GRU中得到輸出，該輸出作為另外兩層GRU的輸入，其中一層GRU負責檢測出目標的置信度，另外一層GRU負責檢測及預測微表情的位置；

(4)網絡模型的訓練與微表情檢測

在視頻序列中尋找一段含有微表情的視頻段，將待檢測視頻均分為n段，利用每一段去檢測并預測微表情位置以及長度，預測輸出即為公式(10)所示：

其中，C為結果的置信概率，x₁,x₂為視頻序列中微表情起始與終止坐標預測結果，構建損失函數，損失函數由分類、回歸兩部分組成；

分類部分GRU1的損失函數為CrossEntropy，其計算公式為：

回歸部分GRU2的損失函數為MSE損失，其計算公式為：

每次檢測過程中，待檢測視頻段被均分為n段，如果微表情段的中心點落到這個視頻段內，這個視頻段會負責預測微表情的發生位置以及它的置信度，待檢測視頻中置信度最大的視頻段所預測的微表情區間為被檢測視頻的預測結果；

訓練結束后在微表情預測區間內的視頻段中的每一幀都被標記為微表情幀，其余視頻段中都被標記為非微表情幀。