[發明專利]一種基于正常表情輔助的微表情識別方法有效
| 申請號： | 202010143177.2 | 申請日： | 2020-03-04 |
| 公開（公告）號： | CN111368734B | 公開（公告）日： | 2022-09-06 |
| 發明（設計）人： | 王上飛;夏斌;王偉康;陳恩紅 | 申請（專利權）人： | 中國科學技術大學 |
| 主分類號： | G06V40/16 | 分類號： | G06V40/16;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 安徽省合肥新安專利代理有限責任公司 34101 | 代理人： | 陸麗莉;何梅生 |
| 地址： | 230026 安*** | 國省代碼： | 安徽;34 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 正常 表情 輔助 識別 方法 | ||
1.一種基于正常表情輔助的微表情識別方法，其特征是按如下步驟進行：
步驟1、構建表情圖像數據集：
步驟1.1、從微表情視頻中提取出無表情變化的中性面部圖片和微表情面部圖片，并使用圖片翻轉、圖片裁剪以及圖片歸一化的方法進行預處理，從而得到微表情數據集Dtr_1，令IN_1和IE_1表示所述微表情數據集Dtr_1中任意同一個人的中性面部圖像和微表情面部圖像，yE_1是微表情面部圖像IE_1相應的微表情的標簽；
步驟1.2、從正常表情視頻中提取出中性面部圖片和正常表情面部圖片，并使用圖片翻轉、圖片裁剪以及圖片歸一化的方法進行預處理，從而得到正常表情數據集DN_2，令IN_2和IE_2是表示所述正常表情數據集DN_2中任意同一個人的中性面部圖像和正常表情圖像，yE_2是正常表情圖像IE_2相應的微表情的標簽；
步驟2、構建微表情身份解纏網絡F_1，包括微表情編碼器E_1，微表情解碼器D_1和微表情分類器C_1：
步驟2.1、構建所述編碼器E_1，包含一個ResNet18結構與一個雙分支結構；
所述ResNet18結構由四個深度殘差塊組成；
每個深度殘差塊均依次包含一個卷積核大小為n′×n′的卷積層，兩個卷積核大小為n″×n″的卷積層，一個批歸一化層和一個ReLU激活函數層；
所述雙分支結構的兩個支路分別依次包含k個卷積模塊和一個非線性函數層；每個卷積模塊均包含一個卷積核大小為n″′×n″′的卷積層和一個批歸一化層；
步驟2.2、提取微表情相關特征和身份相關特征：
將所述微表情數據集Dtr_1的中性面部圖像IN_1輸入到編碼器E_1，并通過所述雙分支結構獲得中性面部圖像IN_1的特征其中，為中性面部圖像IN_1的身份特征，為中性面部圖像IN_1的中性表情特征；
同樣地，將所述微表情面部圖像IE_1輸入到所述編碼器E_1，并得到微表情面部圖像IE_1的特征其中，為微表情面部圖像IE_1的身份特征，為微表情面部圖像IE_1的微表情特征；
步驟2.3、利用式(1)構建微表情的身份特征相似性損失函數Lsim_1：
步驟2.4、構建所述解碼器D_1，依次包含一個非線性函數層，k′個卷積模塊，一個上采樣層，一個m′×m′卷積層和一個非線性函數層；
所述每個深度殘差塊均依次包含一個上采樣層，一個卷積核大小為m″×m″的卷積層，一個批歸一化層和一個非線性函數層；
步驟2.5、重構微表情面部圖像：
將所述微表情面部圖像IE_1的表情相關特征和中性面部圖像IN_1的身份特征拼接后輸入到所述解碼器D_1中，得到重構的微表情面部圖像I′E_1；
步驟2.6、利用式(2)構建微表情面部重建損失函數Lrec_1：
Lrec_1＝||IE_1-I′E_1||2 (2)
步驟2.7、構建所述分類器C_1，并依次包含n個線性層；
將所述微表情面部圖像IE_1的表情相關特征輸入到所述分類器C1中，得到所述分類器C_1預測微表情面部圖像IE_1的表情類別y′E_1；
步驟2.8、利用式(3)構建微表情面部表情分類損失函數Lcls_1：
Lcls_1＝crossentropy{yE_1-y′E_1} (3)
式(3)中，crossentropy{·}表示交叉熵函數；
步驟2.9、利用式(4)構建微表情身份解纏網絡的總損失函數Lphase_1：
Lphase_1＝Lcls_1+λ1_1Lsim_1+λ1_2Lrec_1 (4)
式(4)中，λ1_1和λ1_2是所設定的參數；
步驟3、構建正常表情身份解纏網絡F_2，且F_2與微表情身份解纏網絡F_1有相同的結構，并包括正常表情編碼器E_2，解碼器D_2和分類器C_2：
步驟3.1、構建與所述編碼器E_1結構相同的編碼器E_2；
步驟3.2、提取正常表情相關特征和身份相關特征：
將正常表情數據集DN_2的中性面部圖像IN_2輸入到編碼器E_2，并通過相應的雙分支結構獲得中性面部圖像IN_2的特征其中，為中性面部圖像IN_2的中性表情特征，為中性面部圖像IN_2的身份特征；
同樣地，將正常表情面部圖像IE_2輸入到編碼器E_2，并得到正常表情面部圖像IE_2的特征其中，為正常表情面部圖像IE_2的正常表情特征，為正常表情面部圖像IE_2的身份特征；
步驟3.3、利用式(5)構建正常表情的身份特征相似性損失函數Lsim_2：
步驟3.4、構建與所述解碼器D_1結構相同的解碼器D_2；
步驟3.5、重構正常表情面部圖像：
將正常表情面部圖像IE_2的表情相關特征和中性面部圖像IN_2的身份特征拼接后輸入到所述解碼器D_2中，得到重構的正常表情面部圖像I′E_2；
步驟3.6、利用式(6)構建正常表情面部重建損失函數Lrec_2：
Lrec_2＝||IE_2-I′E_2||2 (6)
步驟3.7、構建與所述分類器C_1結構相同的分類器C_2；
將正常表情面部圖像IE_2的表情相關特征輸入到分類器C_2中，得到分類器C_2預測正常表情面部圖像IE_2的表情類別y′E_2；
步驟3.8、利用式(7)構建正常表情面部表情分類損失函數Lcls_2：
Lcls_2＝crossentropy{yE_2-y′E_2} (7)
步驟3.9、利用式(8)構建正常表情身份解纏網絡的總損失函數Lphase_2：
Lphase_2＝Lcls_2+λ2_1Lsim_2+λ2_2Lrec_2 (8)
式(8)中，λ2_1和λ2_2是所設定的參數；
步驟4、從所述微表情數據集Dtr_1和正常表情數據集DN_2中構建出聯合訓練圖像數據集Dun_3，令所述聯合訓練圖像數據集Dun_3中的Ianc和Ineg是從所述微表情數據集Dtr_1中隨機挑選出的不同類別的微表情圖像，令所述聯合訓練圖像數據集Dun_3中的Ipos是從所述正常表情數據集DN_2中隨機挑選出的且和微表情圖像Ianc是同類別的正常表情圖像，yanc是微表情圖像Ianc對應的類別標簽；
步驟5、正常表情身份解纏網絡F_2與微表情身份解纏網絡F_1的聯合訓練：
步驟5.1、固定住正常表情身份解纏網絡F_2的網絡參數，輔助微表情身份解纏網絡F_1進行微調訓練；
步驟5.2、利用式(9)構建三元組損失函數Ltri：
式(9)中，m是設定的超參數；是將微表情圖像Ianc和Ineg分別輸入到微表情身份解纏網絡F_1所得到的對應的表情特征，是將正常表情圖像Ipos輸入到正常表情身份解纏網絡F_2所得到的對應的表情特征；
步驟5.3、構建對抗學習模塊：
步驟5.3.1、在微表情身份解纏網絡F_1和正常表情身份解纏網絡F_2之間添加對抗學習模塊，所述對抗學習模塊是由判別器和生成器組成；
所述生成器是由微表情身份解纏網絡F_1組成；
所述判別器依次包含n″個卷積模塊，一個平均池化層和一個線性函數層；
所述每個卷積模塊均依次包含一個卷積核大小為w×w的卷積層，一個批歸一化層和一個非線性函數層；
分別將微表情圖像Ianc的表情特征和正常表情圖像Ipos的表情特征輸入所述判別器中，并輸出相應的表情特征屬于正常表情的概率Panc和表情特征屬于正常表情的概率Ppos；
步驟5.3.2、利用式(10)構建對抗學習模塊的損失函數Ladv：
Ladv＝-log Panc (10)
步驟5.4、將微表情面部圖像Ianc的表情特征輸入到微表情身份解纏網絡F_1中的分類器C_1中，得到分類器C_1預測微表情面部圖像Ianc的表情類別y′anc；
利用式(11)構建微表情身份解纏網絡F_1的分類損失函數Lcls_anc：
Lcls_anc＝crossentropy{yanc-y′anc} (11)
步驟5.5、將正常表情面部圖像Ipos的表情特征輸入到特征F_2中的分類器C_2中，得到分類器C_2預測正常表情面部圖像Ipos的表情類別y′pos；
利用式(12)構建正常表情面部圖像F_2的分類損失函數Lcls_pos：
Lcls_pos＝crossentropy{yanc-y′pos} (12)
步驟5.6、利用式(13)構建不等式正則化損失函數LLIR：
LLIR＝max{Lcls_pos-Lcls_anc,0} (13)
步驟5.7、利用式(14)構建微表情身份解纏網絡F_1和正常表情身份解纏網絡F_2聯合訓練的總損失函數Lphase_3：
Lphase_3＝Lcls_anc+λ3_1Ltri+λ3_2Ladv+λ3_3LLIR (14)
式(14)中，λ3_1,λ3_2和λ3_3是人為設定的參數；
步驟5.8、利用梯度下降法對所述總損失函數Lphase_3中的微表情身份解纏網絡F_1參數進行優化求解，從而得到最優微表情身份解纏網絡并用于微表情識別。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學技術大學，未經中國科學技術大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010143177.2/1.html，轉載請聲明來源鉆瓜專利網。
