[發(fā)明專利]基于特征點矢量與紋理形變能量參數的人臉表情識別方法

有效

• 申請?zhí)枺?/td>: 201210393891.2
• 申請日: 2012-10-17
• 公開（公告）號: CN102945361A
• 公開（公告）日: 2013-02-27
• 發(fā)明（設計）人: 毛峽;易積政;薛雨麗;陳立江;王曉侃
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 暫無信息
• 代理人: 暫無信息

（一）技術領域

本發(fā)明涉及一種人臉表情識別方法，尤其是基于特征點與特征塊的人臉表情特征提取方法，屬于人臉表情識別領域。

（二）背景技術

情感識別一直是人機交互領域中一個重要的研究方向。為了建立友好和諧的人機交互模式，大量研究者從語音，面部表情，文本等方面入手，期望以單模或者多模融合的方法實現更好的人機交互效果。其中，面部表情識別是情感識別的一個重要研究方向，近些年也有大量優(yōu)秀的研究成果涌現，這無疑有力地推動了人機交互研究的快速發(fā)展。感謝圖像處理，模式識別等領域專家們的不懈努力，在計算機軟硬件技術飛速發(fā)展的大前提下，基于面部表情的自動化情感識別在最近些年已經取得了顯著的成果。Ekman和Friesen提出了高興、悲傷、驚訝、生氣、嫌惡、害怕這6種基本表情，并在1978年開發(fā)了面部動作編碼系統(tǒng)。然而，真正意義上的依靠計算機的自動化人臉表情識別始于上世紀九十年代，許多基于Ekman和Friesen所提理論的研究成果相繼出現。當然，也有一些研究者提出6種情感以外的情感模式，這極大的豐富了人臉情感識別研究的內容。為了識別這6種基本情感，研究者們所提出的研究方向大致分為兩個主要的分支：一個是基于外觀的方法，另一個就是基于特征的方法。目前所用到的識別特征主要有：灰度特征、運動特征和頻率特征三種。灰度特征是從表情圖像的灰度值上來處理，利用不同表情有不同灰度值來得到識別的依據；運動特征利用了不同表情情況下人臉的主要表情點的運動信息來進行識別；頻域特征主要是利用了表情圖像在不同的頻率分解下的差別，速度快是其顯著特點。具體的表情識別方法主要有三個：一是整體識別法和局部識別法，二是形變提取法和運動提取法，三是幾何特征法和容貌特征法。當然，這三個發(fā)展方向不是嚴格獨立的，恰恰相反，是相互聯(lián)系，相互影響的，它們只是從不同側面來提取所需要的表情特征，都只是提供了一種分析表情的思路。在此，本發(fā)明著重于基于紋理與基于特征兩方面進行說明。

目前在人臉表情識別領域，結合人臉結構特征與紋理信息，并且考慮個體差異對人臉表情識別結果的影響，這樣的方法還比較少，這在一定程度上制約了人臉表情識別研究的進一步發(fā)展。結合特征點矢量和紋理形變能量參數的人臉表情識別方法能夠很好的解決這一問題。因此，提出這樣一種有效的人臉表情識別方法具有很強的現實意義。

（三）發(fā)明內容

本發(fā)明創(chuàng)新性地給出了特征點矢量與紋理形變能量參數的概念，提出一種基于兩者結合的人臉表情識別方法。

本發(fā)明的主要內容為：對人臉表情樣本進行特征點定位，根據選取的特征點計算特征點矢量與紋理形變能量參數，然后通過RBF神經網絡訓練學習，完成七種人臉表情（高興、悲傷、驚訝、生氣、嫌惡、害怕、中性）識別。

該方法的具體步驟如下：

步驟1：利用OPENCV的AAM工具對人臉表情序列始端的中性表情和末端的驚訝表情（任為六種基本表情之一，以驚訝為例說明）分別進行特征點定位。

步驟2：將選取的特征點構成特征點矢量。矢量有大小和方向，為適應人臉表情識別，本發(fā)明將特征點矢量分為特征點之間的歐氏距離d（代表大小）和連線的夾角α（代表方向）兩部分。根據d與α計算特征點之間的距離系數比k_d，去掉冗余部分k_l，得到k_d-final。同理可以得到k_α-final。

步驟3：根據特征點確立特征塊，計算紋理形變能量系數矩陣，再經過PCA，最終得到紋理形變能量參數k_s-final。

步驟4：將最終的特征輸入，即：k_final=k_d-final+k_a-final+k_s-final作為RBF神經網絡的訓練數據，最終實現人臉表情識別。

本發(fā)明提供的人臉表情識別方法，其優(yōu)點和積極效果在于：

1該方法基于人臉結構特征與紋理信息相結合的角度進行人臉表情識別。

2該方法考慮不同個體之間的差異，解決了個性信息，光照，小范圍頭部姿勢等因素對人臉表情識別的影響。

（四）附圖說明

圖1人臉表情識別系統(tǒng)框圖

圖2特征點定位圖

圖3紋理形變能量參數獲取圖

圖4RBF神經網絡結構圖

（五）具體實施方式