[發明專利]一種基于運動單元的多域融合微表情檢測方法

有效

• 申請號: 202010410345.X
• 申請日: 2020-05-15
• 公開（公告）號: CN111582212B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 賁晛燁;李冰;李玉軍;魏文輝;王德強;徐鵬
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 許德山

1.一種基于運動單元的多域融合的微表情檢測方法，其特征在于，包括步驟如下：

(1)對微表情視頻進行預處理，包括獲取視頻幀序列、人臉檢測與定位、人臉對齊；

(2)利用OpenFace對經過預處理后獲取的視頻幀序列進行運動單元檢測，獲取視頻幀序列的運動單元信息；

(3)根據運動單元信息，通過半決策算法，找到包含微表情運動單元信息量ME最多的一個面部運動單元子塊作為微表情檢測區域，同時，通過設置動態閾值，提取微表情運動單元信息量ME的若干峰值幀作為微表情檢測的參考高潮幀；

(4)通過多域融合的微表情檢測方法實現微表情的檢測，包括：

首先，在時空域中，提取視頻幀序列中面部運動單元子塊的光流特征，得到其光流模值和光流角度；

其次，利用三維快速傅里葉變換，提取視頻幀序列的頻域特征，得到頻域幅值變化信息；

最后，將光流模值和歸一化的頻域幅值相加，輔以光流角度，在極坐標系下，通過動態閾值初步定位其面部運動單元子塊下微表情的起始幀和終止幀；同時，根據步驟(3)中的參考高潮幀對起始幀和終止幀進行判斷，若起始幀和終止幀中包含該參考高潮幀，且長度符合微表情長度，則為一段檢測出的微表情序列，否則，不為微表情序列。

2.根據權利要求1所述的一種基于運動單元的多域融合的微表情檢測方法，其特征在于，步驟(1)中，對微表情視頻進行預處理，包括步驟如下：

A、獲取視頻幀：對包含微表情的視頻進行分幀處理，得到視頻幀序列并存儲；

B、人臉檢測與定位：利用Dlib視覺庫對視頻幀序列進行人臉檢測和定位，給出所檢測的視頻幀中人臉數目和人臉距圖像邊界距離；

C、人臉對齊：利用Dlib視覺庫確定面部68個關鍵特征點，完成人臉分割并實現人臉矯正，是指：Dlib視覺庫使用矩形框分割人臉，同時檢測出面部68個關鍵特征點，特征點37和特征點46的連線與水平線存在角度a，通過該角度a得到對應的旋轉矩陣，對分割出的人臉進行旋轉變換，使特征點37和特征點46的連線與水平線平行，實現人臉姿態的矯正；同時，將人臉進行縮放，得到255*255分辨率的視頻幀。

3.根據權利要求1所述的一種基于運動單元的多域融合的微表情檢測方法，其特征在于，步驟(2)中，對預處理后的視頻幀序列進行微表情運動單元信息的提取，包括步驟如下：

選取OpenFace中17個運動單元作為微表情檢測所關注的運動單元信息，包括前眉升起AU1、外眉上挑AU2、眉毛下壓AU4、上眼皮上升AU5、臉頰上揚AU6、眼瞼收緊AU7、眼瞼收緊AU9、嘴唇上升AU10、嘴角拉伸AU12、嘴角收緊AU14、嘴角下壓AU15、下巴上揚AU17、嘴唇拉伸嘴角向下AU20、雙唇收緊AU23、雙唇分開AU25、下顎下降AU26和抿嘴AU28；

將視頻幀序列的每一幀與其前一幀進行對比，提取每一個運動單元是否存在的二進制編碼；是指：對于AU來說，AU是指AU1、AU2、AU4、AU5、AU6、AU7、AU9、AU10、AU12、AU14、AU15、AU17、AU20、AU23、AU25、AU26和AU28中的任一種，若視頻幀序列第i+1幀與第i幀之間存在對應的運動，則AU_i＝1，否則AU_i＝0，因此，每一個運動單元得到N-1維二進制的運動單元信息編碼，N為視頻幀序列長度，平滑后得到0到1范圍內的連續值。