[發(fā)明專利]一種基于心率和面部特征的非接觸式的人類情感識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910180227.1
• 申請(qǐng)日: 2019-03-11
• 公開（公告）號(hào): CN109993068B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 杜廣龍;梁殷浩;李方;張平
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/56;G06V10/772;G06V10/80;G06V10/82;G06N3/044
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

本發(fā)明提供一種基于心率和面部特征的非接觸式的人類情感識(shí)別方法，它使得系統(tǒng)可以遠(yuǎn)程識(shí)別人類情感。包括步驟：（1）使用圖像采集設(shè)備（包括RGB色彩和紅外線）實(shí)時(shí)采集圖像信息；（2）使用信號(hào)分離技術(shù)得到特征信號(hào)；（3）使用神經(jīng)網(wǎng)絡(luò)分析并得出人類情感。本發(fā)明結(jié)合人類的實(shí)時(shí)影像，系統(tǒng)可以依賴難以偽裝的人類的生物信號(hào)識(shí)別出人類情感。

技術(shù)領(lǐng)域

本發(fā)明屬于情感識(shí)別領(lǐng)域，特別涉及一種基于心率和面部特征的非接觸式的人類情感識(shí)別方法。

背景技術(shù)

由于人的情緒可以反映在膚色和心率上，而這些是不容易偽造的，所以通過分析面部數(shù)據(jù)就可以識(shí)別出人的情緒。此外，面部表情因文化和種族而異。因此，很難為不同背景的人制定一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。

人工智能識(shí)別情感的能力是非常有用的，在醫(yī)療行業(yè)、服務(wù)業(yè)，甚至在訊問領(lǐng)域可以發(fā)揮重要作用。非接觸式方法可以降低被測(cè)者的警覺性。如果使用這些相機(jī)能夠高精度地識(shí)別人們的情緒，操作便捷，用戶就不會(huì)感到不舒服。例如，在醫(yī)院里，如果醫(yī)生知道病人的情緒，那么幫助病人恢復(fù)得更好。在學(xué)校里，如果老師知道學(xué)生的情緒，那么他/她可以更好地調(diào)整教學(xué)節(jié)奏。在訊問過程中，警察可以根據(jù)犯罪嫌疑人的情緒判斷他是否撒謊。

傳感器技術(shù)和深度學(xué)習(xí)算法的發(fā)展使得基于信息融合的情感感知成為可能。世界上許多研究機(jī)構(gòu)正在進(jìn)行這方面的研究。情緒感知有多種方式：生物電信號(hào)、面部表情、語音、文本和手勢(shì)。

大多數(shù)實(shí)驗(yàn)使用生物特征信號(hào)來檢測(cè)情緒。用于檢測(cè)的主要生物指標(biāo)是心電圖(ECG)、肌電圖(EMG)等。ECG方法已被證明是有效的情緒感知方法。Juan?Miguel等人。提出一種利用眼動(dòng)跟蹤、生物特征識(shí)別和腦電測(cè)量裝置研究基本情緒和復(fù)雜情緒的方法。費(fèi)迪南多等，從心電圖中獲得心率變異性(HRV)，以確定情感識(shí)別中使用的一些標(biāo)準(zhǔn)特征，并將情緒轉(zhuǎn)換為覺醒價(jià)空間。卡特西尼亞尼斯等。提出了一種集成心電和腦電圖(EEG)數(shù)據(jù)的多模態(tài)數(shù)據(jù)庫夢(mèng)想家。參與者在每次刺激后進(jìn)行自我評(píng)估以校正數(shù)據(jù)庫。然而，這種方法通常需要特殊的設(shè)備，并且需要與人體直接接觸。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的上述不足，提出了基于心率和面部特征的非接觸式的人類情感識(shí)別方法，它使得系統(tǒng)可以遠(yuǎn)程識(shí)別人類情感。

本發(fā)明提供了一種基于心率和面部特征的非接觸式的人類情感識(shí)別方法，包括如下步驟：

S1、使用RGB色彩和紅外線識(shí)別心率；

S2、使用小波分析面部特征；

S3、使用神經(jīng)網(wǎng)絡(luò)分析心率和面部特征，從而識(shí)別出人類情感。

優(yōu)選地，所述步驟S1具體包括：使用獨(dú)立成分分析即ICA來匹配視頻幀人臉的亮度變化和相應(yīng)心率信號(hào)，ICA是一種基于信號(hào)高階統(tǒng)計(jì)特性的信號(hào)分析方法，觀測(cè)到的隨機(jī)信號(hào)服從：

s＝wx

其中x是觀測(cè)信號(hào)矩陣，每個(gè)觀測(cè)信號(hào)之間存在統(tǒng)計(jì)相關(guān)性，在變換矩陣w變換之后，信號(hào)矩陣s的各個(gè)信號(hào)分量之間的相關(guān)性降低，采用獨(dú)立分量分析算法為混合的R、G、B、紅外數(shù)據(jù)解出分離矩陣，其中，ICA的實(shí)現(xiàn)形式為特征矩陣的聯(lián)合逼近對(duì)角化即JADE算法，即JADE算法對(duì)混合的R，G，B，紅外數(shù)據(jù)提供分離矩陣，JADE算法的目的是計(jì)算混合矩陣的逆，它通過四個(gè)步驟來描述：

步驟1.形成樣本協(xié)方差并計(jì)算白化矩陣

步驟2.形成白化過程的樣本四階累積量計(jì)算n對(duì)最重要的特征對(duì)

步驟3.通過歸一化矩陣對(duì)集合進(jìn)行聯(lián)合對(duì)角化；

步驟4.對(duì)混合矩陣A的估計(jì)是分離后，利用快速傅立葉變換提取信號(hào)，找到匹配的心率范圍。

優(yōu)選地，所述步驟S2包括以下步驟：