[發(fā)明專利]一種基于注意力機(jī)制的自適應(yīng)微表情識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110758045.5
• 申請(qǐng)日: 2021-07-05
• 公開(kāi)（公告）號(hào): CN113449661B
• 公開(kāi)（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 鄭文明;魏夢(mèng)婷;宗源;趙力
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/82;G06N3/08
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 王安琪

本發(fā)明公開(kāi)了一種基于注意力機(jī)制的自適應(yīng)微表情識(shí)別方法，包括如下步驟：對(duì)微表情數(shù)據(jù)庫(kù)的圖像序列進(jìn)行一系列的預(yù)處理工作；每個(gè)微表情序列作為一個(gè)樣本，從每個(gè)序列中以一定的間隔選取一定數(shù)量的圖像，選取的每張圖像采用基于運(yùn)動(dòng)放大的方法放大1?9倍；在一組不同的放大圖像間添加注意力權(quán)重，并將其最終整合成一個(gè)特征向量；對(duì)于同一序列下的一組圖像對(duì)應(yīng)的一組向量，通過(guò)注意力機(jī)制對(duì)這些向量施加不同的注意力權(quán)重，再次以相同方式將這些向量整合成一個(gè)向量；將最終表示向量送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練；獲取待識(shí)別的微表情圖像序列，按照上述方式得到最終表示向量后，輸出情感類別。本發(fā)明能夠獲得更高的識(shí)別準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及微表情數(shù)據(jù)情感識(shí)別技術(shù)領(lǐng)域，尤其是一種基于注意力機(jī)制的自適應(yīng)微表情識(shí)別方法。

背景技術(shù)

微表情是指當(dāng)一個(gè)人試圖掩藏自己的真實(shí)情緒時(shí)，不經(jīng)意泄露出的表情狀態(tài)。它的持續(xù)時(shí)間一般在0.065-0.5秒之間，且強(qiáng)度微弱，肉眼難以捕捉。相比于有意識(shí)的表情，微表情更能反映人們的真實(shí)感受和動(dòng)機(jī)，應(yīng)用前景廣闊。針對(duì)微表情微弱的特性，許多研究方法首先采用某種方法對(duì)表情強(qiáng)度進(jìn)行放大，之后基于放大的表情進(jìn)行識(shí)別。而在實(shí)際強(qiáng)度放大過(guò)程中，不同受試者之間，同一受試者的不同表情之間存在很大差異，對(duì)于有的微表情，較小的放大倍數(shù)就可以產(chǎn)生比較明顯的效果，而對(duì)于另外一些微表情，放大倍數(shù)則要設(shè)置的比較大才能看到效果，傳統(tǒng)的方法沒(méi)有考慮到這一問(wèn)題，直接對(duì)所有的微表情設(shè)置同一個(gè)放大強(qiáng)度，這極大可能會(huì)影響后續(xù)的識(shí)別性能。

注意力機(jī)制是一種將同等看待變?yōu)椴顒e對(duì)待的方式，結(jié)合深度網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，可以自動(dòng)地為有利于提高分類性能的特征賦予更大的注意力權(quán)重，在圖像識(shí)別領(lǐng)域應(yīng)用廣泛。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題在于，提供一種基于注意力機(jī)制的自適應(yīng)微表情識(shí)別方法，能夠獲得更高的識(shí)別準(zhǔn)確率。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于注意力機(jī)制的自適應(yīng)微表情識(shí)別方法，包括如下步驟：

(1)獲取一個(gè)微表情數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)庫(kù)中的所有圖像序列進(jìn)行人臉檢測(cè)，人臉校準(zhǔn)，面部區(qū)域裁剪的工作，最終獲得只包含面部區(qū)域的圖像，數(shù)據(jù)庫(kù)中的一個(gè)受試者作為測(cè)試集，剩下的最為訓(xùn)練集；

(2)從預(yù)處理后的每個(gè)微表情圖像序列中以一定的間隔選取一定數(shù)量的圖像，每張圖像采用基于運(yùn)動(dòng)放大的方法依次放大1-9倍；

(3)對(duì)單張圖像的一組放大圖像使用Resnet-18骨干網(wǎng)絡(luò)進(jìn)行特征提取，得到每個(gè)放大圖像對(duì)應(yīng)的特征向量，對(duì)這一組特征向量使用注意力機(jī)制，注意力機(jī)制由一個(gè)全連接層和一個(gè)sigmoid函數(shù)組成，添加了注意力權(quán)重的特征向量之后被整合為一個(gè)向量；

(4)經(jīng)過(guò)上述步驟，序列中的每張圖像都對(duì)應(yīng)有一個(gè)特征向量，對(duì)同一序列中的這些特征向量再次使用注意力機(jī)制，添加了注意力權(quán)重的特征向量再次被整合成為一個(gè)向量；

(5)將經(jīng)過(guò)上述步驟得到的特征向量經(jīng)過(guò)一個(gè)全連接層，全連接層的輸出維度與數(shù)據(jù)庫(kù)的表情類別數(shù)一致，在全連接層后添加softmax層，計(jì)算訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的softmax層輸出以及其情感類別標(biāo)簽之間的交叉熵，將該交叉熵作為網(wǎng)絡(luò)損失，采用反向傳播算法更新網(wǎng)絡(luò)參數(shù)，完成網(wǎng)絡(luò)訓(xùn)練；

(6)將測(cè)試數(shù)據(jù)集以同樣的方式進(jìn)行預(yù)處理，得到其對(duì)應(yīng)的特征向量，并將特征向量輸入訓(xùn)練好的網(wǎng)絡(luò)，輸出中維數(shù)最大的類別即為識(shí)別的情感類別。

優(yōu)選的，步驟(2)中所述放大圖像的表示為：

I_magnified＝I_onset+(I_seleted-I_onset)×amp_i