[發(fā)明專利]一種基于注意力機制的三維卷積微表情識別算法

在審

• 申請?zhí)枺?/td>: 202010847866.1
• 申請日: 2020-08-21
• 公開（公告）號: CN112115796A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計）人: 趙國英;毋婷婷;李展;樊青晨;劉盱衡;張海;彭進業(yè);溫超;章勇勤;楊溪
• 申請（專利權(quán)）人: 西北大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安恒泰知識產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 祁凡雨

1.一種基于注意力機制三維卷積微表情識別網(wǎng)絡(luò)模型的建立方法，其特征在于，包括以下步驟：

步驟1，采用自監(jiān)督方法對微表情視頻序列數(shù)據(jù)集進行光流提取，得到光流序列：提取后每個微表情視頻序列均對應(yīng)一組光流序列；

步驟2，建立基于注意力機制三維卷積微表情識別網(wǎng)絡(luò)模型：

包括卷積層，池化層，Attention層，Co-Attention層，以及全連接層和分類器；

通過Attention層將步驟1的微表情視頻序列與步驟1得到的光流序列分別經(jīng)過視頻序列特征提取與光流序列特征提取，得到視頻序列特征向量和光流序列特征向量；

通過Co-Attention層將Attention層得到的視頻序列特征向量和光流序列特征向量的相互引導(dǎo)并融合，得到聯(lián)合特征向量；

將所述聯(lián)合特征向量輸入到全連接層進行微表情分類識別，得到微表情分類識別結(jié)果；

使用交叉熵函數(shù)作為該網(wǎng)絡(luò)模型的損失函數(shù)，并使用Adam優(yōu)化策略來訓練網(wǎng)絡(luò)模型學習，該網(wǎng)絡(luò)模型是雙流輸入，訓練時該網(wǎng)絡(luò)模型的輸入為步驟1的微表情視頻序列和對應(yīng)的得到的光流序列，輸出是positive、surprise、negative和other中的其中一種。

2.如權(quán)利要求1所述基于注意力機制三維卷積微表情識別網(wǎng)絡(luò)模型的建立方法，其特征在于，步驟1前需要對數(shù)據(jù)集進行預(yù)處理，該數(shù)據(jù)集包括多個微表情視頻序列，每個微表情視頻序列均由一組視頻幀構(gòu)成。

3.如權(quán)利要求1所述基于注意力機制三維卷積微表情識別網(wǎng)絡(luò)模型的建立方法，其特征在于，所述步驟1預(yù)處理的方法依次包括：對數(shù)據(jù)集中的每個視頻序列進行人臉剪裁、人臉對齊、視頻序列幀數(shù)統(tǒng)一。

4.如權(quán)利要求1所述基于注意力機制三維卷積微表情識別網(wǎng)絡(luò)模型的建立方法，其特征在于，步驟2中，通過視頻序列特征向量和光流序列特征向量得到聯(lián)合特征向量包括：先使用視頻序列特征向量引導(dǎo)光流序列特征向量，得到引導(dǎo)之后的光流序列特征向量，再使用引導(dǎo)之后的光流序列特征向量引導(dǎo)視頻序列特征向量，得到引導(dǎo)后的視頻序列特征向量；

將引導(dǎo)后的光流序列特征向量與引導(dǎo)后的視頻序列特征向量進行融合，得到聯(lián)合特征向量。

5.一種基于注意力機制的三維卷積微表情識別方法，其特征在于，將待識別的微表情片段輸入到權(quán)利要求1或2或3或4所述的網(wǎng)絡(luò)模型中，得到微表情分類識別結(jié)果：positive、surprise、negative、other。

6.一種基于注意力機制的三維卷積微表情識別系統(tǒng)，其特征在于，該系統(tǒng)包括預(yù)處理模塊以及權(quán)利要求1或2或3或4所述的基于注意力機制的三維卷積微表情識別網(wǎng)絡(luò)模型；

所述預(yù)處理模塊用于依次對待識別的微表情視頻序列進行人臉剪裁、人臉對齊和視頻序列幀數(shù)統(tǒng)一；

預(yù)處理后的待識別的微表情視頻序列輸入所述基于注意力機制三維卷積微表情識別網(wǎng)絡(luò)模型用于進行待識別的微表情的分類識別。