[發(fā)明專(zhuān)利]一種基于動(dòng)作跟蹤的臉部表情分析方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 200910243734.1
• 申請(qǐng)日: 2009-12-23
• 公開(kāi)（公告）號(hào): CN101777116A
• 公開(kāi)（公告）日: 2010-07-14
• 發(fā)明（設(shè)計(jì)）人: 王陽(yáng)生;汪曉妍;周曉旭;馮雪濤;周明才
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06T7/00
• 代理公司: 中科專(zhuān)利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 梁愛(ài)榮

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理與模式識(shí)別技術(shù)領(lǐng)域，特別涉及人臉多特征跟蹤 和表情識(shí)別技術(shù)方法。

背景技術(shù)

人臉是人類(lèi)行為中一種豐富而有力的人際交流信息的來(lái)源。人臉表情 含有豐富的人體行為信息，對(duì)它的研究可以進(jìn)一步了解人類(lèi)對(duì)應(yīng)的心理狀 態(tài)。人臉表情也在人際交往和非言語(yǔ)交流中扮演著非常重要的角色。表情 能夠填補(bǔ)言語(yǔ)交流的不足，也可以獨(dú)立傳遞完整的思想。計(jì)算機(jī)和機(jī)器人 如果能夠像人類(lèi)那樣具有理解和表達(dá)情感的能力，并能夠自主適應(yīng)環(huán)境， 這將從根本上改變?nèi)伺c計(jì)算機(jī)之間的關(guān)系，使計(jì)算機(jī)能夠更好的為人類(lèi)服 務(wù)。要利用人臉表情所提供的信息，研究出魯棒、準(zhǔn)確、快速且智能的自 動(dòng)化實(shí)時(shí)人臉表情識(shí)別方法是非常重要的。

表情是情緒的外在表現(xiàn)之一，而情緒是受到歷史、社會(huì)和個(gè)體等諸多 方面影響的綜合產(chǎn)物，這也使得表情的變化既細(xì)致入微又撲朔迷離。表情 分析與識(shí)別與情感識(shí)別是兩個(gè)不同的概念，表情識(shí)別僅依賴(lài)于視覺(jué)信息把 面部肌肉的運(yùn)動(dòng)及其它面部特征的變形分成抽象的各個(gè)類(lèi)別。現(xiàn)有的一些 表情識(shí)別方法普遍存在這樣以下一些問(wèn)題：

目前大部分算法很難排除不同人的面部差異對(duì)于表情識(shí)別的影響。在 人臉識(shí)別研究中表情是干擾，而在專(zhuān)門(mén)研究表情識(shí)別時(shí)也同樣需要排除因 人臉的差異而導(dǎo)致的表情變化。人臉的類(lèi)別比表情類(lèi)別要多得多，可以達(dá) 到了幾十億，典型的表情類(lèi)別卻只有幾種到幾十種，因此在統(tǒng)計(jì)意義上不 同人臉造成的表情類(lèi)別中的類(lèi)內(nèi)差異會(huì)大于表情變化引起的人臉類(lèi)別的 類(lèi)內(nèi)差異，所以表情識(shí)別中人臉差異的干擾更大于人臉識(shí)別中表情的干 擾。另外不同的文化背景及不同的性別等都會(huì)對(duì)表情的表現(xiàn)形式產(chǎn)生影 響，對(duì)表情的分析與識(shí)別帶來(lái)困難。

現(xiàn)有的方法一般將前期的定位跟蹤部分與后續(xù)的表情分類(lèi)孤立開(kāi)考 慮，即在進(jìn)行了定位歸一化調(diào)整后再重新對(duì)圖像進(jìn)行特征提取進(jìn)而分類(lèi)識(shí) 別。而實(shí)際上在對(duì)人臉進(jìn)行特征定位過(guò)程中也需要對(duì)于臉部特征進(jìn)行建模 和處理，定位以后完全地拋棄之前的結(jié)果再重新進(jìn)行特征抽取導(dǎo)致了整體 效率低下，如果結(jié)合多特征的定位與跟蹤提取出有效的特征來(lái)用于表情識(shí) 別就可以節(jié)省很多后續(xù)的處理。現(xiàn)有的表情識(shí)別方法都傾向于使用盡量多 的特征和盡量多的信息保證識(shí)別效果，但很多信息不是必須的。多數(shù)識(shí)別 方法直接對(duì)圖像提取臉部的紋理信息，或臉部紋理信息和形狀信息結(jié)合構(gòu) 造表情分類(lèi)特征向量，依據(jù)觀點(diǎn)主要是信息越多越有利于表達(dá)表情，越能 提高表情識(shí)別率。紋理信息中相對(duì)包含了更多的可用信息，對(duì)紋理信息處 理和表示方法也相對(duì)于形狀信息要多，所以現(xiàn)有的表情識(shí)別研究中基于紋 理信息的方法要相對(duì)多一些。但是紋理特征往往復(fù)雜也導(dǎo)致了冗余度高， 效率低的問(wèn)題。現(xiàn)有的識(shí)別方法多數(shù)直接映射到確定性的幾種表情，輸出 結(jié)果是表情類(lèi)別的標(biāo)記，而忽視表情的復(fù)雜性和不確定性，沒(méi)有進(jìn)行表情 模糊性的描述。情感是復(fù)雜多樣的，識(shí)別表情是為了情感的識(shí)別，表情模 糊性是情感復(fù)雜性的一種反映。通常說(shuō)的某一種表情是指那種表情的典型 面部表達(dá)，在實(shí)際中，相信每個(gè)人都遇到過(guò)憤怒帶點(diǎn)悲傷、高興帶點(diǎn)驚訝 等等復(fù)雜表情的例子。所以如果硬性給某張表情圖像定義成一種表情不是 很妥當(dāng)，而有必要在識(shí)別時(shí)給出表情模糊性的描述。

在實(shí)用性方面，現(xiàn)有技術(shù)對(duì)于人臉檢測(cè)定位、人臉跟蹤和表情分析這 三者的結(jié)合，仍然缺少完整有效的解決方案。本發(fā)明針對(duì)這些問(wèn)題，平衡 各方面性能的需求，同時(shí)考慮到實(shí)際應(yīng)用中對(duì)計(jì)算速度的要求，給出了有 效的解決方法。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于動(dòng)作跟蹤的臉部表情分析方法。本系統(tǒng) 首先實(shí)時(shí)地、魯棒地檢測(cè)到人臉和關(guān)鍵點(diǎn)位置，然后對(duì)視頻中人臉的位置、 姿態(tài)及表情動(dòng)作進(jìn)行跟蹤，并將跟蹤得到的特征參數(shù)直接用于表情識(shí)別。 由于表情的復(fù)雜性和不確定性，在識(shí)別時(shí)給出表情模糊性的描述。

為實(shí)現(xiàn)上述目的，本發(fā)明提出一種基于動(dòng)作跟蹤的臉部表情分析方 法，該方法包括步驟：

步驟1：對(duì)輸入視頻圖像進(jìn)行預(yù)處理并對(duì)人臉和臉部關(guān)鍵點(diǎn)的位置進(jìn) 行檢測(cè)和定位，以確定臉部位置，獲得臉部關(guān)鍵點(diǎn)定位信息并進(jìn)行臉部的 歸一化；

步驟2：采用三維參數(shù)化人臉網(wǎng)格模型對(duì)臉部和臉部表情動(dòng)作進(jìn)行建 模，利用臉部位置和關(guān)鍵點(diǎn)的定位信息對(duì)三維模型進(jìn)行初始化，得到三維 模型的初始位置、姿態(tài)和形狀參數(shù)，然后提取魯棒特征結(jié)合在線(xiàn)學(xué)習(xí)方法 實(shí)現(xiàn)視頻中的人臉多特征跟蹤，即對(duì)輸入視頻圖像中臉部的位置、姿態(tài)及 表情動(dòng)作多個(gè)特征進(jìn)行實(shí)時(shí)和有效的跟蹤，相當(dāng)于提取了臉部特征；