[發明專利]基于自適應去除過渡幀深度網絡的微表情檢測方法

有效

• 申請號: 202010092959.8
• 申請日: 2020-02-14
• 公開（公告）號: CN111325131B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 付曉峰;牛力;柳永翔;趙偉華;計忠平
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/09
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

1.基于自適應去除過渡幀深度網絡的微表情檢測方法，包括網絡構造、網絡訓練和微表情檢測，其特征在于：

所述的網絡構造具體是：

步驟S1：選取在ImageNet數據庫上預訓練好的CNN模型，保留卷積層及預訓練參數；

步驟S2：在上述CNN模型后添加全連接層；

步驟S3：在全連接層后添加輸出層和logistic分類器，構造完成的網絡命名為MesNet網絡；

所述的網絡訓練具體是：

步驟S1：對原始視頻進行數據預處理，去除影響微表情檢測的噪聲干擾；

步驟S2：使用自適應去除過渡幀方法從訓練集去除過渡幀；

步驟S3：將去除了過渡幀的微表情幀和中性幀樣本輸入MesNet網絡進行訓練；

所述的自適應去除過渡幀方法具體是：

步驟S1：將訓練集分為自信樣本和待去除過渡幀樣本；

步驟S2：通過自信樣本訓練MesNet網絡，得到微表情幀、中性幀二分類模型；

步驟S3：用二分類模型預測待去除過渡幀樣本，得到每個樣本屬于正樣本微表情幀的概率；

步驟S4：通過待去除過渡幀樣本概率分布圖自適應地確定篩選過渡幀的閾值，從而去除過渡幀；

所述的微表情檢測具體是：

步驟S1：對測試集原始視頻進行數據預處理；

步驟S2：將預處理后的樣本輸入訓練好的MesNet網絡，得到預測標簽值。

2.根據權利要求1所述的基于自適應去除過渡幀深度網絡的微表情檢測方法，其特征在于：

網絡構造階段，使用預訓練好的Inception-ResNet-V2模型為基礎，添加含512個神經元的全連接層和含1個神經元的輸出層，構造微表情幀和中性幀二分類網絡，用于從視頻中檢測微表情。

3.根據權利要求1所述的基于自適應去除過渡幀深度網絡的微表情檢測方法，其特征在于：

網絡訓練階段，原始視頻的數據預處理包括人臉檢測、人臉對齊和微表情區域裁剪；

所述的人臉檢測是利用Dlib正向人臉檢測器，提取得到人臉矩形框，使用殘差神經網絡人臉特征點檢測模型，檢測得到矩形框內的68個人臉特征點；

所述的人臉對齊是通過計算兩個外眼角水平差量和垂直差量從而確定人臉偏轉角度，并利用人臉偏轉角度計算仿射矩陣作仿射變換，完成人臉對齊。

4.根據權利要求1所述的基于自適應去除過渡幀深度網絡的微表情檢測方法，其特征在于：

所述的過渡幀帶有噪聲標簽，通過自適應去除過渡幀方法可以識別并去除過渡幀。

5.根據權利要求1所述的基于自適應去除過渡幀深度網絡的微表情檢測方法，其特征在于：

MesNet網絡完成訓練之后，將測試集樣本輸入，可得到每個樣本屬于正樣本微表情幀的概率；若概率大于等于0.5，判為微表情幀，輸出標簽為1；若概率小于0.5，判為中性幀，輸出標簽為0；根據測試集真實標簽和MesNet網絡預測標簽，做出ROC曲線圖及計算AUC值；AUC值越高，MesNet網絡性能越好。

6.根據權利要求1所述的基于自適應去除過渡幀深度網絡的微表情檢測方法，其特征在于：

微表情檢測過程中，所述MesNet網絡檢測微表情對輸入視頻適用于長度為幾十幀的短視頻或適用于上千幀的長視頻。