[發明專利]一種基于深度學習的人臉多區域融合表情識別方法

有效

• 申請號: 201810912957.1
• 申請日: 2018-08-13
• 公開（公告）號: CN109344693B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 王珂堯;常天海;余衛宇
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/40;G06K9/62;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種基于深度學習的人臉多區域融合表情識別方法，其特征在于，所述的識別方法包括下列步驟：

S1、通過人工標注得到包含人臉表情數據集的RGB圖像，將其分為訓練集和測試集；

S2、從訓練集中得到一張包含人臉的RGB圖像，通過檢測模型對人臉進行檢測，得到人臉的大致位置區域；

S3、根據人臉的大致位置區域，通過人臉關鍵點檢測模型對人臉關鍵點進行檢測得到人臉的關鍵點坐標值；

S4、根據人臉的關鍵點坐標值對目標人臉進行人臉對齊，同時通過仿射變換截取僅包含人臉的第一圖像區域并調整到相同尺寸，人臉關鍵點坐標也根據仿射變換矩陣重新映射到新的坐標；

S5、根據包含人臉的第一圖像區域及坐標映射變換后的人臉關鍵點坐標，截取眼睛區域和嘴巴區域，并將這兩個區域調整到與第一圖像區域相同尺寸；

S6、將包含人臉的第一圖像區域、眼睛區域和嘴巴區域，分別進行圖像歸一化處理；

S7、將歸一化處理后的圖像進行隨機數據增強處理；

S8、將隨機數據增強處理后的第一圖像區域、眼睛區域和嘴巴區域的圖像作為卷積神經網絡的輸入，對卷積神經網絡進行訓練，其中，所述的卷積神經網絡包括一個主干網絡和兩個枝干網絡構成，所述的第一圖像區域作為主干網絡的輸入，所述的眼睛區域和嘴巴區域分別作為兩個枝干網絡輸入；

S9、取出測試集中的圖像，重復步驟S2-步驟S8，得到對齊的包含人臉的第一圖像區域、眼睛區域和嘴巴區域分別作為卷積神經網絡中一個主干網絡和兩個枝干網絡的輸入，得到最終表情分類結果；

其中，第一圖像區域作為輸入的主干網絡的結構如下：

從輸入層至輸出層依次連接為：卷積層conv1、BN層conv1_bn、scale層conv1_scale、Relu層conv1_relu、池化層max_pooling1、卷積層conv2、BN層conv2_bn、scale層conv2_scale、Relu層conv2_relu、池化層max pooling2、卷積層conv3、BN層conv3_bn、scale層conv3_scale、Relu層conv3_relu、卷積層conv4、BN層conv4_bn、scale層conv4_scale、Relu層conv4_relu、池化層max_pooling3、卷積層conv5、BN層conv5_bn、scale層conv5_scale、Relu層conv5_relu、卷積層conv6、BN層conv6_bn、scale層conv6_scale、Relu層conv6_relu、concat層、全局平均池化層global_average_pooling、全連接層fc、softmax層；

眼睛區域作為輸入的第一枝干網絡的結構如下：

從輸入層至輸出層依次連接為：卷積層conv1_eye、BN層conv1_bn_eye、scale層conv1_scale_eye、Relu層conv1_relu_eye、池化層max_pooling1_eye、卷積層conv2、BN層conv2_bn_eye、scale層conv2_scale_eye、Relu層conv2_relu_eye、池化層max_pooling2_eye、卷積層conv3、BN層conv3-_bn_eye、scale層conv3_scale_eye、Relu層conv3_relu_eye、卷積層conv4_eye、BN層conv4_bn_eye、scale層conv4_scale_eye、Relu層conv4_relu_eye、concat層、全局平均池化層global_average pooling、全連接層fc、softmax層；

嘴巴區域作為輸入的第二枝干網絡的結構如下：

從輸入層至輸出層依次連接為：卷積層conv1_mouth、BN層conv1-_bn_mouth、scale層conv1_scale_mouth、Relu層conv1_relu_mouth、池化層max_pooling1_mouth、卷積層conv2、BN層conv2_bn_mouth、scale層conv2_scale_mouth、Relu層conv2_relu_mouth、池化層max_pooling2_mouth、卷積層conv3_mouth、BN層conv3_bn_mouth、scale層conv3_scale_mouth、Relu層conv3_relu_mouth、卷積層conv4_mouth、BN層conv4_bn_mouth、scale層conv4_scale_eye、Relu層conv4_relu_mouth、concat層、全局平均池化層global_average_pooling、全連接層fc、softmax層；

concat層、全局平均池化層global_average_pooling、全連接層fc、softmax層作為三個分支共有的部分。