[發(fā)明專利]一種基于深度學(xué)習(xí)的人臉序列表情識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810587517.3
• 申請(qǐng)日: 2018-06-06
• 公開（公告）號(hào): CN108921042B
• 公開（公告）日: 2019-08-23
• 發(fā)明（設(shè)計(jì)）人: 卿粼波;周文俊;吳曉紅;何小海;熊文詩;滕奇志;熊淑華
• 申請(qǐng)（專利權(quán)）人: 四川大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學(xué)習(xí)的人臉序列表情識(shí)別方法，其特征在于：

1).將人臉序列處理成不同的分辨率分別處理；

2).采用不同的神經(jīng)網(wǎng)絡(luò)處理不同分辨率的人臉序列；

3).采用加權(quán)的方法對(duì)上述2)中的多個(gè)網(wǎng)絡(luò)通道進(jìn)行融合，得到多尺度人臉序列表情識(shí)別網(wǎng)絡(luò)模型；

該方法包括以下步驟：

A.多尺度人臉序列表情識(shí)別網(wǎng)絡(luò)的訓(xùn)練，其具體包括：

A1.對(duì)視頻序列進(jìn)行預(yù)處理，其中通過人臉檢測(cè)跟蹤的視頻分析技術(shù)獲取人臉序列，將每個(gè)人臉序列處理成三種不同的分辨率，這三種不同的分辨率包括128×128,224×224,336×336；最后將上述三種不同分辨率的人臉序列分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，并貼上定義好的情緒類別標(biāo)簽；

A2.采用長效遞歸卷積神經(jīng)網(wǎng)絡(luò)(Long-term Recurrent Convolutional Networks,LRCN)結(jié)構(gòu)的三通道多尺度人臉序列表情識(shí)別網(wǎng)絡(luò)分別對(duì)上述三種不同的分辨率的人臉序列進(jìn)行分析，所述三通道是指Coarse Resolution通道即CS-stream，Normal Resolution通道即NS-stream，F(xiàn)ine Resolution通道即FS-stream，其中CS-stream處理分辨率為128×128的人臉序列，NS-stream處理分辨率為224×224的人臉序列，F(xiàn)S-stream處理分辨率為336×336的人臉序列；

A3.訓(xùn)練時(shí)先將訓(xùn)練集和驗(yàn)證集中三種不同分辨率的人臉序列分別輸入多尺度人臉序列表情識(shí)別網(wǎng)絡(luò)的三個(gè)通道，完成整個(gè)網(wǎng)絡(luò)的訓(xùn)練，最后融合三通道并保存生成的網(wǎng)絡(luò)與網(wǎng)絡(luò)參數(shù)模型，以用于預(yù)測(cè)；

所述步驟A中利用不同網(wǎng)絡(luò)提取不同分辨率的人臉序列中的時(shí)空特征，采用VGG-Face+LSTM作為CS-stream通道與NS-stream通道的基礎(chǔ)網(wǎng)絡(luò)，Deeper VGG-Face+LSTM在VGG-Face+LSTM網(wǎng)絡(luò)的基礎(chǔ)上添加了兩個(gè)卷積層作為FS-stream通道的基礎(chǔ)網(wǎng)絡(luò)，對(duì)三通道網(wǎng)絡(luò)采用2:5:3的權(quán)重融合得到多尺度人臉表情識(shí)別網(wǎng)絡(luò)；

B.利用多尺度人臉序列表情識(shí)別網(wǎng)絡(luò)與訓(xùn)練好的網(wǎng)絡(luò)參數(shù)模型進(jìn)行視頻的人臉序列表情分類：

B1.提取步驟A1中生成的測(cè)試集中的不同分辨率的人臉序列，為分類做準(zhǔn)備；

B2.利用多尺度人臉表情識(shí)別網(wǎng)絡(luò)和步驟A中生成的網(wǎng)絡(luò)參數(shù)模型，以步驟B1中提取的不同分辨率人臉序列作為輸入，并融合三通道的分類結(jié)果，預(yù)測(cè)該視頻的人臉表情類別。

2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的人臉序列表情識(shí)別方法，其特征在于步驟A1中的情緒類別標(biāo)簽包括bored,excited,frantic,relaxed。

3.如權(quán)利要求1所述的基于深度學(xué)習(xí)的人臉序列表情識(shí)別方法，其特征在于步驟B中預(yù)測(cè)時(shí)對(duì)人臉序列的不同分辨率分別分類處理，然后對(duì)三個(gè)通道的分類結(jié)果采用2:5:3的權(quán)重融合得到最終的人臉表情識(shí)別預(yù)測(cè)結(jié)果。