[發(fā)明專利]一種基于特征級上下文信息感知的面部情感識別方法

有效

• 申請?zhí)枺?/td>: 202010692930.3
• 申請日: 2020-07-17
• 公開（公告）號: CN111985330B
• 公開（公告）日: 2022-01-28
• 發(fā)明（設計）人: 孫強;張龍濤
• 申請（專利權）人: 西安理工大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/46;G06V10/774;G06V10/771
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 寧文濤

1.一種基于特征級上下文信息感知的面部情感識別方法，其特征在于，具體步驟如下：

步驟1、采集圖像，確定訓練樣本集和測試樣本集；

步驟2、提取訓練樣本集中每個訓練樣本的人臉區(qū)域并統(tǒng)一尺寸，得到訓練人臉圖像集；

步驟3、分別采集訓練人臉圖像集中每個人臉圖像的面部特征點，篩選出情感相關部位特征點，確定面部情感區(qū)域；

面部情感區(qū)域定義為：在訓練人臉圖像集中的每個人臉圖像上選取n個特征點，定義每一特征點為一個中心像素點，在每個中心像素點鄰域選取N×N大小的區(qū)域，將每個人臉圖像上的n個N×N大小區(qū)域定義為人臉圖像的面部情感區(qū)域；

步驟4、提取所有面部情感區(qū)域的多尺度統(tǒng)一圓形局部二值模式MU-CLBP特征值，完成情感特征的表達；

面部情感區(qū)域的MU-CLBP特征提取過程具體為：

步驟4.1、針對面部情感區(qū)域的每個中心像素點均選取m組不同尺度參數(shù)，提取不同尺度參數(shù)下每個中心像素點對應的U-CLBP特征值；

中心像素點對應的U-CLBP特征提取步驟為：

步驟4.1.1、定義中心像素點為(x,y)，其像素值為g(x,y)，尺度參數(shù)為(R,P)，計算該尺度參數(shù)(R,P)下中心像素點(x,y)周圍的鄰域采樣點(x_j,y_j)的位置，得到鄰域采樣點(x_j,y_j)的像素值f(x_j,y_j)；

其中，鄰域采樣點(x_j,y_j)的位置計算公式如下；

式(1)中，R為鄰域采樣點的采樣半徑，P為總的鄰域采樣點個數(shù)，P不小于1，(x_j,y_j)為中心像素點周圍任意一個鄰域采樣點j的位置，1≤j≤P，f(x_j,y_j)為采樣點j的像素值；

步驟4.1.2、由步驟4.1.1得到P個鄰域采樣點的像素值，將中心像素點像素值g(x,y)作為閾值，對中心像素點的P個鄰域采樣點進行判別，得到P位0/1二進制值，具體判別方式如下：

式(2)中，(x_j,y_j)為中心像素點周圍任意一個鄰域采樣點j的位置，1≤j≤P，f(x_j,y_j)為采樣點j的像素值；

步驟4.1.3、將步驟4.1.2中判別后得到的P位0/1二進制值按順時針順序拼接，得到該中心像素點(x,y)的長度為P的二進制碼，定義為C_p；

步驟4.1.4、采用“統(tǒng)一模式”方式對二進制碼C_p進行轉換，得到中心像素點(x,y)對應的U-CLBP特征值，計算公式如下：

式(3)中，P為總的鄰域采樣點個數(shù)，U(C_p)表示二進制碼C_p中0/1跳變次數(shù)；

步驟4.2、將面部情感區(qū)域中相同尺度參數(shù)下的所有U-CLBP特征進行拼接，得到m個尺度參數(shù)的U-CLBP特征值；

步驟4.3、繪制每個尺度參數(shù)的U-CLBP特征值的直方圖，最終將m個U-CLBP特征值的直方圖級聯(lián)形成MU-CLBP特征值，即面部情感區(qū)域的MU-CLBP特征值；

步驟5、將步驟4中提取的MU-CLBP特征值送入SVR訓練，獲得SVR情感模型；

步驟6、按照步驟2-4的具體步驟獲取測試樣本集中所有測試樣本MU-CLBP特征值，并將測試樣本MU-CLBP特征值送入步驟5中得到的SVR情感模型，得到連續(xù)維度的arousal和valence預測值。

2.根據(jù)權利要求1所述的一種基于特征級上下文信息感知的面部情感識別方法，其特征在于，所述步驟2中人臉區(qū)域提取采用Viola-Jones人臉檢測算法。

3.根據(jù)權利要求1所述的一種基于特征級上下文信息感知的面部情感識別方法，其特征在于，所述步驟3中采集人臉圖像的面部特征點時采用基于回歸樹集合的人臉特征點檢測算法。