[發(fā)明專利]一種基于特征級上下文信息感知的面部情感識別方法

有效

• 申請?zhí)枺?/td>: 202010692930.3
• 申請日: 2020-07-17
• 公開（公告）號: CN111985330B
• 公開（公告）日: 2022-01-28
• 發(fā)明（設計）人: 孫強;張龍濤
• 申請（專利權）人: 西安理工大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/46;G06V10/774;G06V10/771
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 寧文濤

本發(fā)明公開了基于特征級上下文信息感知的面部情感識別方法，步驟如下：1、確定訓練樣本集和測試樣本集；2、提取訓練樣本的人臉區(qū)域并統(tǒng)一尺寸；3、采集每個人臉圖像的面部特征點，篩選情感相關部位特征點，確定面部情感區(qū)域；4、提取所有面部情感區(qū)域的MU?CLBP特征值；5、將MU?CLBP特征值送入SVR訓練，獲得SVR情感模型；6、獲取測試樣本集中所有測試樣本MU?CLBP特征值，并將測試樣本MU?CLBP特征值送入SVR情感模型，得到arousal和valence預測值。本發(fā)明通過對面部情感區(qū)域篩選克服對整張人臉圖像分析時存在的特征冗余情況；且充分挖掘與利用像素點鄰域上下文信息，識別結果準確度高。

技術領域

本發(fā)明屬于模式識別技術領域，具體涉及一種基于特征級上下文信息感知的面部情感識別方法。

背景技術

情感是人們表達自身感受的一種社會交流與溝通的必要形式。所謂情感識別，就是通過計算機分析人們表現(xiàn)出的情感信號，從而推斷其心理狀態(tài)。

計算機分析人類情感用到的信號通常包括：圖像、視頻、聲音以及生理信號等，人臉圖像作為最直觀的情感觀察對象，能直接表現(xiàn)出人們的情感，因此讓計算機通過人臉圖像精確識別人類情感并及時做出反應，從而更好完成人機交互已成為目前人工智能時代亟待突破的關鍵課題之一。

目前，大量的面部情感分析工作集中利用整幅人臉圖像進行情感表達。這種做法的局限性是，忽略了對影響情感信號挖掘的面部關鍵區(qū)域的充分利用，且采用整幅面部圖像時會引入身份信息，也不利于情感識別的正確推理。

而且，針對人臉圖像的特征提取，現(xiàn)有方法缺少對于特征級上下文信息的探索。在對圖像像素點進行情感特征編碼時，并未考慮不同鄰域范圍內(nèi)的像素對于中心像素點特征表達的作用，導致對于面部情感特征的表達并不充分。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于特征級上下文信息感知的面部情感識別方法，解決了利用整張人臉圖像識別情感時存在特征冗余的問題，同時解決了編碼情感特征時沒有充分利用像素點多尺度鄰域上下文信息而導致識別準確度不高的問題。

本發(fā)明所采用的技術方案是，一種基于特征級上下文信息感知的面部情感識別方法，具體步驟如下：

步驟1、采集圖像，確定訓練樣本集和測試樣本集；

步驟2、提取訓練樣本集中每個訓練樣本的人臉區(qū)域并統(tǒng)一尺寸，得到訓練人臉圖像集；

步驟3、分別采集訓練人臉圖像集中每個人臉圖像的面部特征點，篩選出情感相關部位特征點，確定面部情感區(qū)域；

步驟4、提取所有面部情感區(qū)域的多尺度統(tǒng)一圓形局部二值模式MU-CLBP特征值，完成情感特征的表達；

步驟5、將步驟4中提取的MU-CLBP特征值送入SVR訓練，獲得SVR情感模型；

步驟6、按照步驟2-4的具體步驟獲取測試樣本集中所有測試樣本MU-CLBP特征值，并將測試樣本MU-CLBP特征值送入步驟5中得到的SVR情感模型，得到連續(xù)維度的arousal和valence預測值。

本發(fā)明的特點還在于，

步驟2中人臉區(qū)域提取采用Viola-Jones人臉檢測算法。

步驟3中采集人臉圖像的面部特征點時采用基于回歸樹集合的人臉特征點檢測算法。

步驟3中的面部情感區(qū)域定義為：在訓練人臉圖像集中的每個人臉圖像上選取n個特征點，定義每一特征點為一個中心像素點，在每個中心像素點鄰域選取N×N大小的區(qū)域，將每個人臉圖像上的n個N×N大小區(qū)域定義為人臉圖像的面部情感區(qū)域。

步驟4中面部情感區(qū)域的MU-CLBP特征提取過程具體為：