[發(fā)明專利]一種基于殘差神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的微表情識別方法

在審

• 申請?zhí)枺?/td>: 202111362700.1
• 申請日: 2021-11-17
• 公開（公告）號: CN114038041A
• 公開（公告）日: 2022-02-11
• 發(fā)明（設(shè)計）人: 董成龍;徐夢奇
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/25;G06V10/764;G06V10/44;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.一種基于殘差神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的微表情識別方法，其特征在于：具體包括以下步驟：

步驟一、構(gòu)建ME注意力模塊

ME注意力模塊輸入層的輸出包括4個分支，其中第2、第4分支不經(jīng)過任何處理；第1分支依次經(jīng)過平均池化層、全連接層、ReLu激活函數(shù)、全連接層和Sigmoid激活函數(shù)，再與第2分支相乘后作為空間賦權(quán)結(jié)果；第3分支依次經(jīng)過平均池化層、卷積層和Sigmoid激活函數(shù)，再與第4分支相乘后作為時間賦權(quán)結(jié)果；將空間賦權(quán)結(jié)果與時間賦權(quán)結(jié)果相加后，作為ME注意力模塊的輸出；

步驟二、構(gòu)建網(wǎng)絡(luò)基本塊

依次連接輸入層、1x1卷積層、3x3卷積層、1x1卷積層與輸出層，得到特征提取模塊；再將特征提取模塊的輸入與輸出殘差連接，得到殘差單元；將步驟一構(gòu)建的ME注意力模塊的輸入與殘差單元的3x3卷積層的輸出相連，輸出與殘差單元的輸出相加后送入輸出層，得到網(wǎng)絡(luò)基本塊Block；

步驟三、構(gòu)建識別網(wǎng)絡(luò)

識別網(wǎng)絡(luò)包括輸入模塊、基本塊組合與分類模塊；輸入模塊用于將網(wǎng)絡(luò)的輸入數(shù)據(jù)設(shè)置為統(tǒng)一的大小；基本塊組合包括16個依次連接的網(wǎng)絡(luò)基本塊Block，用于對輸入模塊輸出的圖像進(jìn)行特征提取，其中淺層網(wǎng)絡(luò)基本塊Block的輸出大、通道數(shù)少，深層網(wǎng)絡(luò)基本塊Block的輸出小、通道數(shù)多；分類模塊將基本塊組合提取到的特征作為輸入，輸出識別結(jié)果；

步驟四、訓(xùn)練識別網(wǎng)絡(luò)

使用大型視覺挑戰(zhàn)賽訓(xùn)練的權(quán)重初始化步驟三構(gòu)建的識別網(wǎng)絡(luò)，然后固定輸入模塊與基本塊組合的網(wǎng)絡(luò)參數(shù)，使用人臉表情數(shù)據(jù)庫中的數(shù)據(jù)對分類模塊的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練；再采用留一交叉驗證法，輸入微表情數(shù)據(jù)庫進(jìn)一步訓(xùn)練識別網(wǎng)絡(luò)；

步驟五、微表情識別

將含有人臉微表情的圖像或視頻序列輸入到步驟四訓(xùn)練后的識別網(wǎng)絡(luò)中，網(wǎng)絡(luò)輸出分類結(jié)果，完成微表情的識別。

2.如權(quán)利要求1所述一種基于殘差神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的微表情識別方法，其特征在于：ME注意力模塊中，第1分支為空間注意力機(jī)制，聚焦于微表情發(fā)生區(qū)域，并增強(qiáng)該微表情發(fā)生區(qū)域的權(quán)重，輸出空間權(quán)重信息，空間注意力公式為：

F_s＝sigmoid(conv^7×7(AvgPool(X)))

其中，X為輸入數(shù)據(jù)，AvgPool為平均池化操作，conv^7x7為用7x7卷積核進(jìn)行卷積操作，sigmoid為使用sigmoid激活函數(shù)，F(xiàn)_s為第1分支輸出的空間權(quán)重圖；第3分支為時間注意力機(jī)制，聚焦于圖像序列中微表情發(fā)生的幀，并且能夠增強(qiáng)微表情發(fā)生的幀的權(quán)重，輸出時間權(quán)重信息，時間注意力公式為：

F_c＝sigmoid(FC(AvgPool(X)))

其中，F(xiàn)C為全連接層，F(xiàn)_c為第3分支輸出的時間權(quán)重圖。

3.如權(quán)利要求1所述一種基于殘差神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的微表情識別方法，其特征在于：所述輸入模塊依次為7x7卷積層、批標(biāo)準(zhǔn)化、ReLu激活函數(shù)和最大池化層，輸入模塊的輸出大小為56x56，輸出通道數(shù)為64；基本塊組合中，第1～3個網(wǎng)絡(luò)基本塊Block的輸出大小為56x56，輸出通道數(shù)為256；第4～7個網(wǎng)絡(luò)基本塊Block的輸出大小為28x28，輸出通道數(shù)為512；第8～13個網(wǎng)絡(luò)基本塊Block的輸出大小為14x14，輸出通道數(shù)為1024；第14～16個網(wǎng)絡(luò)基本塊Block的輸出大小為7x7，輸出通道數(shù)為2048；分類模塊依次為平均池化層、全連接層和Softmax層。

4.如權(quán)利要求1所述一種基于殘差神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的微表情識別方法，其特征在于：步驟四中使用ImageNet數(shù)據(jù)集對步驟三構(gòu)建的識別網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，初始化網(wǎng)絡(luò)權(quán)重。

5.如權(quán)利要求1或4所述一種基于殘差神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的微表情識別方法，其特征在于：初始化網(wǎng)絡(luò)權(quán)重后，使用CK+人臉表情數(shù)據(jù)庫中的數(shù)據(jù)對對分類模塊的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練。