[發明專利]面部情緒識別方法、裝置及存儲介質

在審

• 申請號: 201710707943.1
• 申請日: 2017-08-17
• 公開（公告）號: CN107633203A
• 公開（公告）日: 2018-01-26
• 發明（設計）人: 陳林;張國輝
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙)44347
• 代理人: 于志光,郭夢霞

1.一種電子裝置，其特征在于，所述裝置包括存儲器、處理器及攝像裝置，所述存儲器中包括面部情緒識別程序，所述面部情緒識別程序被所述處理器執行時實現如下步驟：

實時臉部圖像獲取步驟：獲取攝像裝置拍攝的實時圖像，利用人臉識別算法從該實時圖像中提取一張實時臉部圖像；

情緒識別步驟：將該實時臉部圖像輸入預先訓練好的第一情緒分類模型及第二情緒分類模型進行情緒識別，得到每種情緒的第一概率及第二概率；及

情緒判斷步驟：根據第一情緒分類模型、第二情緒分類模型識別出的情緒及概率，判斷該實時臉部圖像中的情緒。

2.根據權利要求1所述的電子裝置，其特征在于，所述第一情緒分類模型及第二情緒分類模型的訓練步驟包括：

特征點提取步驟：建立一個人臉樣本庫，在每張人臉樣本圖像中標記t個面部特征點；

特征向量計算步驟：將各個面部特征點的坐標與該人臉樣本圖像中規范化后的人臉區域的寬度及高度進行除運算，得到人臉樣本圖像的特征向量；

第一模型訓練步驟：利用所述人臉樣本圖像及其特征向量對支持向量機分類器進行學習訓練，得到第一情緒分類模型；

情緒標簽分配步驟：給每張人臉樣本圖像分配一個情緒標簽，并根據情緒標簽對人臉樣本庫中的人臉樣本圖像進行分類；及

第二模型訓練步驟：利用分類后的人臉樣本圖像對卷積神經網絡進行學習訓練，得到第二情緒分類模型。

3.根據權利要求1所述的電子裝置，其特征在于，所述情緒判斷步驟包括：

判斷所述第一情緒分類模型、第二情緒分類模型識別出的一種或多種情緒是否相同。

4.根據權利要求1或3所述的電子裝置，其特征在于，所述情緒判斷步驟還包括：

當第一情緒分類模型、第二情緒分類模型識別出的是相同的一種或多種情緒，計算各情緒的第一概率、第二概率的均值，以第一概率、第二概率的均值中較大值對應的情緒作為從該實時圖像中識別到的情緒；或

當第一情緒分類模型、第二情緒分類模型識別出的是不同的一種或多種情緒，以第一概率、第二概率中較大值對應的情緒作為從該實時圖像中識別到的情緒。

5.一種面部情緒識別方法，其特征在于，所述方法包括：

實時臉部圖像獲取步驟：獲取攝像裝置拍攝的實時圖像，利用人臉識別算法從該實時圖像中提取一張實時臉部圖像；

情緒識別步驟：將該實時臉部圖像輸入預先訓練好的第一情緒分類模型及第二情緒分類模型進行情緒識別，得到每種情緒的第一概率及第二概率；及

情緒判斷步驟：根據第一情緒分類模型、第二情緒分類模型識別出的情緒及概率，判斷該實時臉部圖像中的情緒。

6.根據權利要求5所述的面部情緒識別方法，其特征在于，所述第一情緒分類模型及第二情緒分類模型的訓練步驟包括：

特征點提取步驟：建立一個人臉樣本庫，在每張人臉樣本圖像中標記t個面部特征點；

特征向量計算步驟：將各個面部特征點的坐標與該人臉樣本圖像中規范化后的人臉區域的寬度及高度進行除運算，得到人臉樣本圖像的特征向量；

第一模型訓練步驟：利用所述人臉樣本圖像及其特征向量對支持向量機分類器進行學習訓練，得到第一情緒分類模型；

情緒標簽分配步驟：給每張人臉樣本圖像分配一個情緒標簽，并根據情緒標簽對人臉樣本庫中的人臉樣本圖像進行分類；及

第二模型訓練步驟：利用分類后的人臉樣本圖像對卷積神經網絡進行學習訓練，得到第二情緒分類模型。

7.根據權利要求5所述的面部情緒識別方法，其特征在于，所述情緒判斷步驟包括：

判斷所述第一情緒分類模型、第二情緒分類模型識別出的一種或多種情緒是否相同。

8.根據權利要求5或7所述的面部情緒識別方法，其特征在于，所述情緒判斷步驟還包括：

當第一情緒分類模型、第二情緒分類模型識別出的是相同的一種或多種情緒，計算各情緒的第一概率、第二概率的均值，以第一概率、第二概率的均值中較大值對應的情緒作為從該實時圖像中識別到的情緒；或

當第一情緒分類模型、第二情緒分類模型識別出的是不同的一種或多種情緒，以第一概率、第二概率中較大值對應的情緒作為從該實時圖像中識別到的情緒。