[發(fā)明專利]一種基于特征級(jí)上下文信息感知的面部情感識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010692930.3
• 申請(qǐng)日: 2020-07-17
• 公開（公告）號(hào): CN111985330B
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計(jì)）人: 孫強(qiáng);張龍濤
• 申請(qǐng)（專利權(quán)）人: 西安理工大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/46;G06V10/774;G06V10/771
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 寧文濤

1.一種基于特征級(jí)上下文信息感知的面部情感識(shí)別方法，其特征在于，具體步驟如下：

步驟1、采集圖像，確定訓(xùn)練樣本集和測(cè)試樣本集；

步驟2、提取訓(xùn)練樣本集中每個(gè)訓(xùn)練樣本的人臉區(qū)域并統(tǒng)一尺寸，得到訓(xùn)練人臉圖像集；

步驟3、分別采集訓(xùn)練人臉圖像集中每個(gè)人臉圖像的面部特征點(diǎn)，篩選出情感相關(guān)部位特征點(diǎn)，確定面部情感區(qū)域；

面部情感區(qū)域定義為：在訓(xùn)練人臉圖像集中的每個(gè)人臉圖像上選取n個(gè)特征點(diǎn)，定義每一特征點(diǎn)為一個(gè)中心像素點(diǎn)，在每個(gè)中心像素點(diǎn)鄰域選取N×N大小的區(qū)域，將每個(gè)人臉圖像上的n個(gè)N×N大小區(qū)域定義為人臉圖像的面部情感區(qū)域；

步驟4、提取所有面部情感區(qū)域的多尺度統(tǒng)一圓形局部二值模式MU-CLBP特征值，完成情感特征的表達(dá)；

面部情感區(qū)域的MU-CLBP特征提取過程具體為：

步驟4.1、針對(duì)面部情感區(qū)域的每個(gè)中心像素點(diǎn)均選取m組不同尺度參數(shù)，提取不同尺度參數(shù)下每個(gè)中心像素點(diǎn)對(duì)應(yīng)的U-CLBP特征值；

中心像素點(diǎn)對(duì)應(yīng)的U-CLBP特征提取步驟為：

步驟4.1.1、定義中心像素點(diǎn)為(x,y)，其像素值為g(x,y)，尺度參數(shù)為(R,P)，計(jì)算該尺度參數(shù)(R,P)下中心像素點(diǎn)(x,y)周圍的鄰域采樣點(diǎn)(x_j,y_j)的位置，得到鄰域采樣點(diǎn)(x_j,y_j)的像素值f(x_j,y_j)；

其中，鄰域采樣點(diǎn)(x_j,y_j)的位置計(jì)算公式如下；

式(1)中，R為鄰域采樣點(diǎn)的采樣半徑，P為總的鄰域采樣點(diǎn)個(gè)數(shù)，P不小于1，(x_j,y_j)為中心像素點(diǎn)周圍任意一個(gè)鄰域采樣點(diǎn)j的位置，1≤j≤P，f(x_j,y_j)為采樣點(diǎn)j的像素值；

步驟4.1.2、由步驟4.1.1得到P個(gè)鄰域采樣點(diǎn)的像素值，將中心像素點(diǎn)像素值g(x,y)作為閾值，對(duì)中心像素點(diǎn)的P個(gè)鄰域采樣點(diǎn)進(jìn)行判別，得到P位0/1二進(jìn)制值，具體判別方式如下：

式(2)中，(x_j,y_j)為中心像素點(diǎn)周圍任意一個(gè)鄰域采樣點(diǎn)j的位置，1≤j≤P，f(x_j,y_j)為采樣點(diǎn)j的像素值；

步驟4.1.3、將步驟4.1.2中判別后得到的P位0/1二進(jìn)制值按順時(shí)針順序拼接，得到該中心像素點(diǎn)(x,y)的長度為P的二進(jìn)制碼，定義為C_p；

步驟4.1.4、采用“統(tǒng)一模式”方式對(duì)二進(jìn)制碼C_p進(jìn)行轉(zhuǎn)換，得到中心像素點(diǎn)(x,y)對(duì)應(yīng)的U-CLBP特征值，計(jì)算公式如下：

式(3)中，P為總的鄰域采樣點(diǎn)個(gè)數(shù)，U(C_p)表示二進(jìn)制碼C_p中0/1跳變次數(shù)；

步驟4.2、將面部情感區(qū)域中相同尺度參數(shù)下的所有U-CLBP特征進(jìn)行拼接，得到m個(gè)尺度參數(shù)的U-CLBP特征值；

步驟4.3、繪制每個(gè)尺度參數(shù)的U-CLBP特征值的直方圖，最終將m個(gè)U-CLBP特征值的直方圖級(jí)聯(lián)形成MU-CLBP特征值，即面部情感區(qū)域的MU-CLBP特征值；

步驟5、將步驟4中提取的MU-CLBP特征值送入SVR訓(xùn)練，獲得SVR情感模型；

步驟6、按照步驟2-4的具體步驟獲取測(cè)試樣本集中所有測(cè)試樣本MU-CLBP特征值，并將測(cè)試樣本MU-CLBP特征值送入步驟5中得到的SVR情感模型，得到連續(xù)維度的arousal和valence預(yù)測(cè)值。

2.根據(jù)權(quán)利要求1所述的一種基于特征級(jí)上下文信息感知的面部情感識(shí)別方法，其特征在于，所述步驟2中人臉區(qū)域提取采用Viola-Jones人臉檢測(cè)算法。

3.根據(jù)權(quán)利要求1所述的一種基于特征級(jí)上下文信息感知的面部情感識(shí)別方法，其特征在于，所述步驟3中采集人臉圖像的面部特征點(diǎn)時(shí)采用基于回歸樹集合的人臉特征點(diǎn)檢測(cè)算法。