[發(fā)明專(zhuān)利]基于面部神態(tài)識(shí)別的老年人身心狀態(tài)實(shí)時(shí)評(píng)估方法與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210163068.6
• 申請(qǐng)日: 2022-02-22
• 公開(kāi)（公告）號(hào): CN114639140A
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 王若梅;周凡;蘇卓
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中山大學(xué)
• 主分類(lèi)號(hào): G06V40/16
• 分類(lèi)號(hào): G06V40/16;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于面部神態(tài)識(shí)別的老年人身心狀態(tài)實(shí)時(shí)評(píng)估方法與系統(tǒng)。包括：搭建基于注意力模塊的面部表情識(shí)別網(wǎng)絡(luò)框架，基于注意力模塊的面部表情識(shí)別網(wǎng)絡(luò)框架包括圖像序列、三維卷積Conv3D、三維殘差塊3D Residual Block、全連接層FC、基于交叉熵?fù)p失的Softmax分類(lèi)器及高效注意力模塊EAM Block；根據(jù)用戶(hù)需求構(gòu)建訓(xùn)練數(shù)據(jù)集；輸入構(gòu)建好的訓(xùn)練數(shù)據(jù)集對(duì)面部表情識(shí)別模型進(jìn)行訓(xùn)練；將待處理的老人面部表情的視頻輸入訓(xùn)練好的面部表情識(shí)別模型，確定老人的情緒或身心狀態(tài)。本發(fā)明通過(guò)構(gòu)建用于人臉情緒識(shí)別的高效注意力模塊EAM，對(duì)通道和視頻不同幀的信息特征進(jìn)行建模，提高了網(wǎng)絡(luò)對(duì)重要信息的關(guān)注度，更加準(zhǔn)確和高效地根據(jù)老人面部表情視頻識(shí)別老人身心狀態(tài)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)，圖像處理，情緒識(shí)別，視頻分類(lèi)領(lǐng)域，具體涉及一種基于面部神態(tài)識(shí)別的老年人身心狀態(tài)實(shí)時(shí)評(píng)估方法與系統(tǒng)。

背景技術(shù)

面部表情是人們理解人的情緒或精神狀態(tài)的非語(yǔ)言交流方法之一，通過(guò)面部表情識(shí)別身心狀態(tài)的能力，對(duì)于健康檢測(cè)具有重要意義。傳統(tǒng)上，基于視頻的情緒識(shí)別屬于視頻分類(lèi)的一種，可以將情緒或老人的身心狀態(tài)分為離散的類(lèi)別，比如快樂(lè)、憤怒、悲傷、恐懼等。在過(guò)去的幾年里，大部分方法使用基于手工或基于學(xué)習(xí)的特征提取方法來(lái)識(shí)別這六種基本身心狀態(tài)。

研究表明面部表情的表現(xiàn)形式隨著年齡的變化而變化，但文獻(xiàn)中缺乏系統(tǒng)探索針對(duì)老年人面部表情識(shí)別的方法。在未來(lái)20年里，人口老齡化將導(dǎo)致深刻的社會(huì)變化，因此老年人需要更多創(chuàng)新性的服務(wù)。許多潛在應(yīng)用，如機(jī)器人、通信、安全和醫(yī)療等方面，將受益于自動(dòng)識(shí)別老年人面部表情的技術(shù)。不同的面部表情可以反應(yīng)情緒，進(jìn)而側(cè)面反映對(duì)象的心理活動(dòng)，更好地分析老人的身心狀態(tài)。

深度學(xué)習(xí)技術(shù)的快速發(fā)展，產(chǎn)生了很多基于深度學(xué)習(xí)的面部表情識(shí)別方法。許多基于深度學(xué)習(xí)的面部表情識(shí)別方法采用圖像數(shù)據(jù)集進(jìn)行識(shí)別，然而圖像并沒(méi)有考慮時(shí)序的情況，信息不如具有上下文信息的視頻豐富，以視頻序列為輸入的基于深度學(xué)習(xí)的分類(lèi)器在面部情緒識(shí)別方面越來(lái)越重要。

目前的現(xiàn)有技術(shù)之一，“一種基于卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的視頻面部表情識(shí)別方法”，該方法將卷積神經(jīng)網(wǎng)絡(luò)(CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)相結(jié)合，在視頻數(shù)據(jù)上執(zhí)行面部表情識(shí)別。該方法的缺點(diǎn)是缺乏一種機(jī)制來(lái)隱式的考慮臉部突出部分，即CNN提取的300維特征向量難以表示圖像豐富的細(xì)節(jié)特征。

目前的現(xiàn)有技術(shù)之二，“一種基于三維卷積神經(jīng)網(wǎng)絡(luò)的視頻面部表情識(shí)別方法”，該方法利用三維卷積神經(jīng)網(wǎng)絡(luò)(3D CNN)代替常用的二維卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)視頻中的面部情緒識(shí)別，增加了時(shí)間維度來(lái)捕獲時(shí)間信息。該方法的缺點(diǎn)是基于3D CNN的方法學(xué)習(xí)到的特征表示對(duì)于動(dòng)作識(shí)別仍然沒(méi)有區(qū)分性，例如沒(méi)有顯著的注意機(jī)制專(zhuān)注于提取與待識(shí)別動(dòng)作相關(guān)的空間區(qū)域或視頻幀。

發(fā)明內(nèi)容

本發(fā)明的目的是克服現(xiàn)有方法的不足，提出了基于面部神態(tài)識(shí)別的老年人身心狀態(tài)實(shí)時(shí)評(píng)估方法與系統(tǒng)。本發(fā)明解決的主要問(wèn)題是，由于老人的皺紋和褶皺較多，表情更難以理解，簡(jiǎn)單的3D CNN方法難以捕獲面部結(jié)構(gòu)的信息和表情變化的信息。即如何更好地捕獲老人面部結(jié)構(gòu)的信息和表情變化信息，生成更有區(qū)別性的特征使三維卷積神經(jīng)網(wǎng)絡(luò)關(guān)注重要的特征信息的問(wèn)題。

為了解決上述問(wèn)題，本發(fā)明提出了一種基于面部神態(tài)識(shí)別的老年人身心狀態(tài)實(shí)時(shí)評(píng)估方法，所述方法包括：

搭建基于注意力模塊的面部表情識(shí)別網(wǎng)絡(luò)框架，所述基于注意力模塊的面部表情識(shí)別網(wǎng)絡(luò)框架包括圖像序列、三維卷積Conv3D、三維殘差塊3D Residual Block、全連接層FC、基于交叉熵?fù)p失的Softmax分類(lèi)器Softmax、高效注意力模塊EAM Block；

根據(jù)用戶(hù)的需求構(gòu)建訓(xùn)練數(shù)據(jù)集，在收集大量的老人面部表情的視頻之后，給它們標(biāo)上憤怒、厭惡、恐懼、快樂(lè)、悲傷或驚訝的正確標(biāo)簽，即構(gòu)造出訓(xùn)練數(shù)據(jù)集；