[發(fā)明專利]一種計(jì)算機(jī)人臉情緒識(shí)別系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810139650.2
• 申請(qǐng)日: 2018-02-11
• 公開（公告）號(hào): CN108062546B
• 公開（公告）日: 2020-04-07
• 發(fā)明（設(shè)計(jì)）人: 王寧;陳明明;陳亮;耿亮;曾濤;陳育智;王星杰
• 申請(qǐng)（專利權(quán)）人: 廈門華廈學(xué)院
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 北京彭麗芳知識(shí)產(chǎn)權(quán)代理有限公司 11407
• 代理人: 彭麗芳

本發(fā)明公開了一種計(jì)算機(jī)人臉情緒識(shí)別系統(tǒng)，包括人臉圖像采集模塊、活體識(shí)別模塊、圖像處理模塊、五官位置定位模塊、圖像特征提取模塊、三維人臉重構(gòu)模塊、人臉識(shí)別模塊。本發(fā)明基于kinect深度傳感器進(jìn)行待識(shí)別人臉圖像以及五官深度圖像數(shù)據(jù)的獲取，通過五官的形態(tài)和位置上對(duì)人臉圖像中的情緒數(shù)據(jù)進(jìn)行識(shí)別，從而實(shí)現(xiàn)了人臉圖像中情緒的識(shí)別。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉識(shí)別系統(tǒng)，具體涉及一種計(jì)算機(jī)人臉情緒識(shí)別系統(tǒng)。

背景技術(shù)

人臉的基本表情類別分為8種，即憤怒(anger)、藐視(contempt)、厭惡(disgust)、恐懼(fear)、開心(happy)、中立(neutral)、悲傷(sadness)和驚訝(surprise)。人臉表情識(shí)別就是研究如何使計(jì)算機(jī)從靜態(tài)圖像或者視頻序列中獲取人臉表情并加以辨別的技術(shù)。如果計(jì)算機(jī)可以準(zhǔn)確地理解人臉表情并識(shí)別出人臉表情屬于哪一個(gè)類別，那么，將在很大程度上改變?nèi)伺c計(jì)算機(jī)之間的關(guān)系，從而達(dá)到更好的人機(jī)交互效果。

目前的人臉表情識(shí)別方法主要為基于隨機(jī)森林算法、表情特征降維法、或者基于SVM(Support Vector Machine)的表情分類方法等。由于表情的屬性類別較多、規(guī)律較復(fù)雜，因此，現(xiàn)有的人臉表情識(shí)別方法中，每個(gè)識(shí)別模型都需要記憶較多的內(nèi)容，從而導(dǎo)致人臉表情的識(shí)別過程運(yùn)算復(fù)雜、人臉表情的識(shí)別準(zhǔn)確率以及識(shí)別效率較為低下。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供了一種計(jì)算機(jī)人臉情緒識(shí)別系統(tǒng)。

為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：

一種計(jì)算機(jī)人臉情緒識(shí)別系統(tǒng)，包括

人臉圖像采集模塊，用于獲取待識(shí)別人的實(shí)時(shí)人臉圖像；

活體識(shí)別模塊，用于完成圖像源是否活體的判斷；若圖像源非活體，則關(guān)閉人臉識(shí)別系統(tǒng)，并啟動(dòng)短信自動(dòng)編輯模塊進(jìn)行預(yù)警短信的發(fā)送；若圖像源為活體，則啟動(dòng)圖像處理模塊進(jìn)行圖像處理；

圖像處理模塊，用于將圖像按五官分割為眼睛區(qū)域、眉毛區(qū)域、鼻子區(qū)域、嘴巴區(qū)域和人臉輪廓區(qū)域，然后通過kinect深度傳感器分別進(jìn)行各區(qū)域深度圖像的獲取，并將獲取的各區(qū)域深度圖像發(fā)送到三維人臉重構(gòu)模塊；

五官位置定位模塊，用于進(jìn)行待識(shí)別人臉圖像中眼睛、眼珠、眉毛、鼻子、嘴巴所在位置的坐標(biāo)定位，并所得的坐標(biāo)定位數(shù)據(jù)發(fā)送到三維重構(gòu)模塊；

圖像特征提取模塊，用于將所獲得的眼睛區(qū)域深度圖像、眉毛區(qū)域深度圖像、鼻子區(qū)域深度圖像、嘴巴區(qū)域深度圖像和人臉輪廓區(qū)域深度圖像進(jìn)行三角化，然后在尺度空間中融合所有三角化的深度圖像構(gòu)建分層有向距離場，對(duì)距離場中所有的體素應(yīng)用整體三角剖分算法產(chǎn)生一個(gè)涵蓋所有體素的凸包，并利用Marching Tetrahedra算法構(gòu)造等值面,獲得的眼睛區(qū)域等值面、眉毛區(qū)域等值面、鼻子區(qū)域等值面、嘴巴區(qū)域等值面以及人臉輪廓區(qū)域等值面；

三維人臉重構(gòu)模塊，用于將所獲得的眼睛區(qū)域等值面、眉毛區(qū)域等值面、鼻子區(qū)域等值面、嘴巴區(qū)域等值面以及人臉輪廓區(qū)域等值面按五官位置的坐標(biāo)進(jìn)行定位拼接，從而完成三維人臉的重構(gòu)；

人臉識(shí)別模塊，用于獲取三維人臉中各區(qū)域所在的三維坐標(biāo)，并將各等值面用其對(duì)應(yīng)的三維坐標(biāo)進(jìn)行標(biāo)記后串聯(lián)形成增強(qiáng)特征向量，利用卡方距離度量等值面相似度，然后采用最近鄰分類器進(jìn)行人臉識(shí)別。

優(yōu)選地，所述活體識(shí)別模塊通過近紅外檢測模塊基于光流法完成圖像源是否活體的判斷。

優(yōu)選地，還包括一圖片權(quán)重分配模塊，用于采用隨機(jī)置換的方式對(duì)劃分后的單個(gè)區(qū)域等值面進(jìn)行識(shí)別，得到區(qū)域?qū)?yīng)的識(shí)別率，然后將所有區(qū)域訓(xùn)練完成后按照各區(qū)域識(shí)別率比例分配權(quán)重。

優(yōu)選地，所述人臉識(shí)別模塊用于將各區(qū)域的等值面用其在三維重構(gòu)模塊中的三維坐標(biāo)進(jìn)行標(biāo)記后，按照從左到右，從上到下的順序線性串聯(lián)各區(qū)域的等值面。