[發明專利]面部情緒識別方法、裝置及存儲介質

在審

• 申請號: 201710707943.1
• 申請日: 2017-08-17
• 公開（公告）號: CN107633203A
• 公開（公告）日: 2018-01-26
• 發明（設計）人: 陳林;張國輝
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙)44347
• 代理人: 于志光,郭夢霞

技術領域

本發明涉及計算機視覺處理技術領域，尤其涉及一種面部情緒識別方法、裝置及計算機可讀存儲介質。

背景技術

在人們的日常交流中，通過語言來傳遞的信息占7％，通過聲音來傳遞的信息占38％，而通過面部表情來傳遞的信息則達到55％。由此可見人臉表情是人類交流的重要載體和非語言交流的一種重要方式，它不僅能夠表達人類的情感狀態、認知活動和人格特征，而且它所富含的人體行為信息與人的情感狀態、精神狀態、健康狀態等其他因素有著極為密切的關聯。人臉情緒識別是人機交互與情感計算研究的重要組成部分，涉及心理學、社會學、人類學、生命科學、認知科學、計算機科學等研究領域，對人機交互智能化和諧化極具意義。

隨著人工智能技術的不斷發展以及人們對于交互體驗要求的不斷提高，智能交互方式已逐漸開始替代一些傳統的人機交互方式，且對人臉情緒識別的要求也不斷提高。

現階段的人臉情緒識別一般是通過收集大量情緒樣本，對樣本進行整理，分成幾類，訓練出情緒識別模型，用來進行情緒識別，但該方法以單一的方式進行識別，然而，單一的情緒識別方法無法達到準確識別面部情緒效果，且單一方法在情緒識別所獲取的數據有限，判斷機制單一，故存在識別的準確度低、誤差大和容易受外界因素影響等問題。

發明內容

本發明提供一種面部情緒識別方法、裝置及計算機可讀存儲介質，其主要目的在于根據嘴唇特征點的坐標計算實時臉部圖像中嘴唇的運動信息，實現對嘴唇區域的分析及對嘴唇動作的實時捕捉。

為實現上述目的，本發明提供一種電子裝置，該裝置包括：存儲器、處理器及攝像裝置，所述存儲器中包括面部情緒識別程序，所述面部情緒識別程序被所述處理器執行時實現如下步驟：

實時臉部圖像獲取步驟：獲取攝像裝置拍攝的實時圖像，利用人臉識別算法從該實時圖像中提取一張實時臉部圖像；

情緒識別步驟：將該實時臉部圖像輸入預先訓練好的第一情緒分類模型及第二情緒分類模型進行情緒識別，得到每種情緒的第一概率及第二概率；及

情緒判斷步驟：根據第一情緒分類模型、第二情緒分類模型識別出的情緒及概率，判斷該實時臉部圖像中的情緒。

可選地，所述第一情緒分類模型及第二情緒分類模型的訓練步驟包括：

特征點提取步驟：建立一個人臉樣本庫，在每張人臉樣本圖像中標記t個面部特征點；

特征向量計算步驟：將各個面部特征點的坐標與該人臉樣本圖像中規范化后的人臉區域的寬度及高度進行除運算，得到人臉樣本圖像的特征向量；

第一模型訓練步驟：利用所述人臉樣本圖像及其特征向量對支持向量機分類器進行學習訓練，得到第一情緒分類模型；

情緒標簽分配步驟：給每張人臉樣本圖像分配一個情緒標簽，并根據情緒標簽對人臉樣本庫中的人臉樣本圖像進行分類；及

第二模型訓練步驟：利用分類后的人臉樣本圖像對卷積神經網絡進行學習訓練，得到第二情緒分類模型。

可選地，所述情緒判斷步驟包括：

判斷所述第一情緒分類模型、第二情緒分類模型識別出的一種或多種情緒是否相同。

可選地，所述情緒判斷步驟還包括：

當第一情緒分類模型、第二情緒分類模型識別出的是相同的一種或多種情緒，計算各情緒的第一概率、第二概率的均值，以第一概率、第二概率的均值中較大值對應的情緒作為從該實時圖像中識別到的情緒；或

當第一情緒分類模型、第二情緒分類模型識別出的是不同的一種或多種情緒，以第一概率、第二概率中較大值對應的情緒作為從該實時圖像中識別到的情緒。

此外，為實現上述目的，本發明還提供一種面部情緒識別方法，該方法包括：

實時臉部圖像獲取步驟：獲取攝像裝置拍攝的實時圖像，利用人臉識別算法從該實時圖像中提取一張實時臉部圖像；

情緒識別步驟：將該實時臉部圖像輸入預先訓練好的第一情緒分類模型及第二情緒分類模型進行情緒識別，得到每種情緒的第一概率及第二概率；及

情緒判斷步驟：根據第一情緒分類模型、第二情緒分類模型識別出的情緒及概率，判斷該實時臉部圖像中的情緒。

可選地，所述第一情緒分類模型及第二情緒分類模型的訓練步驟包括：

特征點提取步驟：建立一個人臉樣本庫，在每張人臉樣本圖像中標記t個面部特征點；

特征向量計算步驟：將各個面部特征點的坐標與該人臉樣本圖像中規范化后的人臉區域的寬度及高度進行除運算，得到人臉樣本圖像的特征向量；