[發(fā)明專(zhuān)利]一種基于心率和面部特征的非接觸式的人類(lèi)情感識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910180227.1
• 申請(qǐng)日: 2019-03-11
• 公開(kāi)（公告）號(hào): CN109993068B
• 公開(kāi)（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 杜廣龍;梁殷浩;李方;張平
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華南理工大學(xué)
• 主分類(lèi)號(hào): G06V40/16
• 分類(lèi)號(hào): G06V40/16;G06V10/56;G06V10/772;G06V10/80;G06V10/82;G06N3/044
• 代理公司: 廣州粵高專(zhuān)利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

1.一種基于心率和面部特征的非接觸式的人類(lèi)情感識(shí)別方法，其特征在于，包括如下步驟：

S1、使用RGB色彩和紅外線識(shí)別心率；具體包括：使用獨(dú)立成分分析即ICA來(lái)匹配視頻幀人臉的亮度變化和相應(yīng)心率信號(hào)，ICA是一種基于信號(hào)高階統(tǒng)計(jì)特性的信號(hào)分析方法，觀測(cè)到的隨機(jī)信號(hào)服從：

s＝wx

其中x是觀測(cè)信號(hào)矩陣，每個(gè)觀測(cè)信號(hào)之間存在統(tǒng)計(jì)相關(guān)性，在變換矩陣w變換之后，信號(hào)矩陣s的各個(gè)信號(hào)分量之間的相關(guān)性降低，采用獨(dú)立分量分析算法為混合的R、G、B、紅外數(shù)據(jù)解出分離矩陣，其中，ICA的實(shí)現(xiàn)形式為特征矩陣的聯(lián)合逼近對(duì)角化即JADE算法，即JADE算法對(duì)混合的R，G，B，紅外數(shù)據(jù)提供分離矩陣，JADE算法的目的是計(jì)算混合矩陣的逆，它通過(guò)四個(gè)步驟來(lái)描述：步驟1.形成樣本協(xié)方差并計(jì)算白化矩陣

步驟2.形成白化過(guò)程的樣本四階累積量計(jì)算n對(duì)最重要的特征對(duì)

步驟3.通過(guò)歸一化矩陣對(duì)集合進(jìn)行聯(lián)合對(duì)角化；

步驟4.對(duì)混合矩陣A的估計(jì)是分離后，利用快速傅立葉變換提取信號(hào)，找到匹配的心率范圍；

S2、使用小波分析面部特征；具體包括以下步驟：

(1)將獲取的含有面部特征信息的視頻幀經(jīng)過(guò)裁剪、縮放、濾波、去噪、直方圖均衡和灰度均衡，轉(zhuǎn)換成為歸一化的標(biāo)準(zhǔn)圖像，用于后續(xù)特征提取；

(2)將步驟(1)歸一化的標(biāo)準(zhǔn)圖像分割、縮放出ROI(Region?of?Interest,感興趣區(qū)域)，ROI由5個(gè)面部特征點(diǎn)確定：左眼、右眼、鼻子和左右嘴角5個(gè)特征點(diǎn)；再采用小波分析進(jìn)行圖像處理，在小波變換后，提取人臉特征向量F＝f⁽¹⁾,f⁽²⁾,…,f^(m)；這里采用的小波變換用圓高斯包絡(luò)核函數(shù)，該核函數(shù)為：

式中i是復(fù)數(shù)運(yùn)算符，σ是高斯窗口的寬度與正弦波波長(zhǎng)的比值，是一個(gè)給定像素的坐標(biāo)，是一個(gè)高斯包絡(luò)函數(shù)，用來(lái)消除Gabor小波變換的圖像分量的影響，k是濾波器的中心頻率,定義如下：

式中定義小波尺度，定義小波方向；

再采用主成分分析(Principal?Component?Analysis，PCA)算法對(duì)人臉面部特征向量F＝f⁽¹⁾,f⁽²⁾,…,f^(m)進(jìn)行降維，降維到d維空間，具體過(guò)程如下：1)對(duì)所有人臉面部特征向量進(jìn)行中心化：2)計(jì)算人臉面部特征向量的協(xié)方差矩陣FF^T；3)對(duì)協(xié)方差矩陣FF^T做特征值分解；4)取最大的d個(gè)特征值所對(duì)應(yīng)的特征向量w1,w2,...,wd；5)將原人臉面部特征向量矩陣與投影矩陣相乘：F·W即為降維后數(shù)據(jù)集F',其中F為m×n維，W＝{w1,w2,...,wd}為n×d維；

S3、使用神經(jīng)網(wǎng)絡(luò)分析心率和面部特征，從而識(shí)別出人類(lèi)情感。