[發明專利]一種基于深度3D卷積神經網絡進行面部表情識別的方法

在審

• 申請號: 201710713962.5
• 申請日: 2017-08-18
• 公開（公告）號: CN107463919A
• 公開（公告）日: 2017-12-12
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及表情識別領域，尤其是涉及了一種基于深度3D卷積神經網絡進行面部表情識別的方法。

背景技術

面部表情識別是指從給定的靜態圖像或動態視頻序列中分離出特定的表情狀態，從而確定被識別對象的心理情緒，實現計算機對人臉表情的理解與識別，從根本上改變人與計算機的關系，從而達到更好的人機交互，是計算機理解人們情感的前提，也是人們探索和理解智能的有效途徑。因此人臉表情識別在心理學、智能機器人、智能監控、虛擬現實及數碼拍攝等領域有很大的潛在應用價值。具體地，在心理學領域內，通過計算機分析人的表情信息，從而推斷人的心理狀態，最后達到實現人機之間的智能交互，運用面部表情識別，研究人類心理情緒的變化是現代科技的重大突破。而在智能機器人領域，利用計算機進行人臉表情圖像獲取、表情圖像預處理、表情分析等，促進人機交流，達到一個更高的科技水平。另外，在數碼拍攝領域，可根據檢測到的笑臉表情自動抓拍照片。雖然目前在表情識方面的研究頗多，但是由于方法的復雜性以及成本考慮，市場上還沒有得到普及運用，并且由于人臉表情變化速度較快，部分表情難以捕捉識別，故在提高表情識別率方面，尚且存在一定的挑戰。

本發明提出了一種基于深度3D卷積神經網絡進行面部表情識別的方法，網絡結構由一個3D起始殘差網絡層(3DIR)和長短期記憶網絡組成(LSTM)組成，提取面部圖像內的空間關系以及視頻中不同幀之間的時間關系，面部標記有助于網絡關注特征圖中更重要的面部成分，故提取面部標記作為網絡的輸入，提高序列對面部表情微妙變化的識別能力，從而進行更準確的識別。本發明提出了一種使用3D卷積神經網絡和長短期記憶網絡來提取視頻序列中每幀之間時間關系的方法，并提取面部標志，強調更具表現力的面部成分，提高面部表情微妙變化的識別能力，為智能機器人領域的新設計，以及心理學領域的創新解決方案做了進一步貢獻。

發明內容

針對表情識別，提出了一種使用3D卷積神經網絡和長短期記憶網絡來提取視頻序列中每幀之間時間關系的方法，并提取面部標志，提高面部表情微妙變化的識別能力，為智能機器人領域的新設計，以及心理學領域的創新解決方案做了進一步貢獻。

為解決上述問題，本發明提供一種基于深度3D卷積神經網絡進行面部表情識別的方法，其主要內容包括：

(一)3D起始殘差網絡；

(二)面部標記；

(三)長短期記憶網絡單元。

其中，所述的深度3D卷積神經網絡，由一個3D起始殘差網絡層(3DIR)和長短期記憶網絡組成(LSTM)組成，LSTM緊跟在3D起始殘差網絡層后面，提取面部圖像內的空間關系以及視頻中不同幀之間的時間關系，面部標記有助于網絡關注特征圖中更重要的面部成分，故提取面部標記作為網絡的輸入，提高序列對面部表情微妙變化的識別能力，從而進行更準確的識別。

其中，所述的長短期記憶網絡(LSTM)，LSTM提供記憶功能，負責長時間記錄上下文信息，包含輸入結構(i)，遺忘結構(f)和輸出結構(o)，三個結構在時間步長t上分別負責儲存單元c的改寫，維持和檢索，令σ(x)＝(1+exp(-x))^-1為Sigmoid函數，為雙曲正切函數，x,h,c,W和b分別為輸入，輸出，單元狀態，參數矩陣和參數向量，

給定輸入x_t,h_t-1和c_t-1在時間步t上時，LSTM的更新由等式(1)給出。

進一步地，所述的3D起始殘差網絡，3D起始殘差網絡具有更高的識別率，其網絡結構為：輸入尺寸為10×299×299×3的視頻，其中幀數為10，每幀尺寸為299×299，3表示彩色通道，其后是一個吸附層，3DIR包括A、B、C層，通過3DIR-A層，網格尺寸由38×38縮減為18×18，通過3DIR-B網格尺寸由18×18縮減為8×8，由3DIR-C層進行平均池化，最后通過完全連接層輸出結果。

進一步地，所述的面部標記，在網絡結構中使用面部標記，區別主要面部成分與面部表情較少的其他部分，在面部表情識別中，提取面部標記提高識別率，保留網絡中每幀的時間順序，在端對端網絡中同時訓練CNN和LSTM，在原始殘差網絡上，結合面部標記，用剩余單元替換最優路徑，使面部標記和剩余單元的輸入張量進行元素相乘，為了提取面部標志，采用跨平臺計算機視覺庫面部識別獲取面部包圍盒，采用回歸局部二進制特征的面部對齊算法，提取66個面部標記點。