[發(fā)明專利]一種基于深度3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行面部表情識(shí)別的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710713962.5
• 申請(qǐng)日: 2017-08-18
• 公開（公告）號(hào): CN107463919A
• 公開（公告）日: 2017-12-12
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及表情識(shí)別領(lǐng)域，尤其是涉及了一種基于深度3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行面部表情識(shí)別的方法。

背景技術(shù)

面部表情識(shí)別是指從給定的靜態(tài)圖像或動(dòng)態(tài)視頻序列中分離出特定的表情狀態(tài)，從而確定被識(shí)別對(duì)象的心理情緒，實(shí)現(xiàn)計(jì)算機(jī)對(duì)人臉表情的理解與識(shí)別，從根本上改變?nèi)伺c計(jì)算機(jī)的關(guān)系，從而達(dá)到更好的人機(jī)交互，是計(jì)算機(jī)理解人們情感的前提，也是人們探索和理解智能的有效途徑。因此人臉表情識(shí)別在心理學(xué)、智能機(jī)器人、智能監(jiān)控、虛擬現(xiàn)實(shí)及數(shù)碼拍攝等領(lǐng)域有很大的潛在應(yīng)用價(jià)值。具體地，在心理學(xué)領(lǐng)域內(nèi)，通過計(jì)算機(jī)分析人的表情信息，從而推斷人的心理狀態(tài)，最后達(dá)到實(shí)現(xiàn)人機(jī)之間的智能交互，運(yùn)用面部表情識(shí)別，研究人類心理情緒的變化是現(xiàn)代科技的重大突破。而在智能機(jī)器人領(lǐng)域，利用計(jì)算機(jī)進(jìn)行人臉表情圖像獲取、表情圖像預(yù)處理、表情分析等，促進(jìn)人機(jī)交流，達(dá)到一個(gè)更高的科技水平。另外，在數(shù)碼拍攝領(lǐng)域，可根據(jù)檢測(cè)到的笑臉表情自動(dòng)抓拍照片。雖然目前在表情識(shí)方面的研究頗多，但是由于方法的復(fù)雜性以及成本考慮，市場(chǎng)上還沒有得到普及運(yùn)用，并且由于人臉表情變化速度較快，部分表情難以捕捉識(shí)別，故在提高表情識(shí)別率方面，尚且存在一定的挑戰(zhàn)。

本發(fā)明提出了一種基于深度3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行面部表情識(shí)別的方法，網(wǎng)絡(luò)結(jié)構(gòu)由一個(gè)3D起始?xì)埐罹W(wǎng)絡(luò)層(3DIR)和長(zhǎng)短期記憶網(wǎng)絡(luò)組成(LSTM)組成，提取面部圖像內(nèi)的空間關(guān)系以及視頻中不同幀之間的時(shí)間關(guān)系，面部標(biāo)記有助于網(wǎng)絡(luò)關(guān)注特征圖中更重要的面部成分，故提取面部標(biāo)記作為網(wǎng)絡(luò)的輸入，提高序列對(duì)面部表情微妙變化的識(shí)別能力，從而進(jìn)行更準(zhǔn)確的識(shí)別。本發(fā)明提出了一種使用3D卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)來提取視頻序列中每幀之間時(shí)間關(guān)系的方法，并提取面部標(biāo)志，強(qiáng)調(diào)更具表現(xiàn)力的面部成分，提高面部表情微妙變化的識(shí)別能力，為智能機(jī)器人領(lǐng)域的新設(shè)計(jì)，以及心理學(xué)領(lǐng)域的創(chuàng)新解決方案做了進(jìn)一步貢獻(xiàn)。

發(fā)明內(nèi)容

針對(duì)表情識(shí)別，提出了一種使用3D卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)來提取視頻序列中每幀之間時(shí)間關(guān)系的方法，并提取面部標(biāo)志，提高面部表情微妙變化的識(shí)別能力，為智能機(jī)器人領(lǐng)域的新設(shè)計(jì)，以及心理學(xué)領(lǐng)域的創(chuàng)新解決方案做了進(jìn)一步貢獻(xiàn)。

為解決上述問題，本發(fā)明提供一種基于深度3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行面部表情識(shí)別的方法，其主要內(nèi)容包括：

(一)3D起始?xì)埐罹W(wǎng)絡(luò)；

(二)面部標(biāo)記；

(三)長(zhǎng)短期記憶網(wǎng)絡(luò)單元。

其中，所述的深度3D卷積神經(jīng)網(wǎng)絡(luò)，由一個(gè)3D起始?xì)埐罹W(wǎng)絡(luò)層(3DIR)和長(zhǎng)短期記憶網(wǎng)絡(luò)組成(LSTM)組成，LSTM緊跟在3D起始?xì)埐罹W(wǎng)絡(luò)層后面，提取面部圖像內(nèi)的空間關(guān)系以及視頻中不同幀之間的時(shí)間關(guān)系，面部標(biāo)記有助于網(wǎng)絡(luò)關(guān)注特征圖中更重要的面部成分，故提取面部標(biāo)記作為網(wǎng)絡(luò)的輸入，提高序列對(duì)面部表情微妙變化的識(shí)別能力，從而進(jìn)行更準(zhǔn)確的識(shí)別。

其中，所述的長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)，LSTM提供記憶功能，負(fù)責(zé)長(zhǎng)時(shí)間記錄上下文信息，包含輸入結(jié)構(gòu)(i)，遺忘結(jié)構(gòu)(f)和輸出結(jié)構(gòu)(o)，三個(gè)結(jié)構(gòu)在時(shí)間步長(zhǎng)t上分別負(fù)責(zé)儲(chǔ)存單元c的改寫，維持和檢索，令σ(x)＝(1+exp(-x))^-1為Sigmoid函數(shù)，為雙曲正切函數(shù)，x,h,c,W和b分別為輸入，輸出，單元狀態(tài)，參數(shù)矩陣和參數(shù)向量，

給定輸入x_t,h_t-1和c_t-1在時(shí)間步t上時(shí)，LSTM的更新由等式(1)給出。

進(jìn)一步地，所述的3D起始?xì)埐罹W(wǎng)絡(luò)，3D起始?xì)埐罹W(wǎng)絡(luò)具有更高的識(shí)別率，其網(wǎng)絡(luò)結(jié)構(gòu)為：輸入尺寸為10×299×299×3的視頻，其中幀數(shù)為10，每幀尺寸為299×299，3表示彩色通道，其后是一個(gè)吸附層，3DIR包括A、B、C層，通過3DIR-A層，網(wǎng)格尺寸由38×38縮減為18×18，通過3DIR-B網(wǎng)格尺寸由18×18縮減為8×8，由3DIR-C層進(jìn)行平均池化，最后通過完全連接層輸出結(jié)果。

進(jìn)一步地，所述的面部標(biāo)記，在網(wǎng)絡(luò)結(jié)構(gòu)中使用面部標(biāo)記，區(qū)別主要面部成分與面部表情較少的其他部分，在面部表情識(shí)別中，提取面部標(biāo)記提高識(shí)別率，保留網(wǎng)絡(luò)中每幀的時(shí)間順序，在端對(duì)端網(wǎng)絡(luò)中同時(shí)訓(xùn)練CNN和LSTM，在原始?xì)埐罹W(wǎng)絡(luò)上，結(jié)合面部標(biāo)記，用剩余單元替換最優(yōu)路徑，使面部標(biāo)記和剩余單元的輸入張量進(jìn)行元素相乘，為了提取面部標(biāo)志，采用跨平臺(tái)計(jì)算機(jī)視覺庫面部識(shí)別獲取面部包圍盒，采用回歸局部二進(jìn)制特征的面部對(duì)齊算法，提取66個(gè)面部標(biāo)記點(diǎn)。