[發明專利]一種基于視頻圖像序列的人臉表情識別方法

有效

• 申請號: 201410073222.6
• 申請日: 2014-02-28
• 公開（公告）號: CN103824059B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 徐平平;謝怡芬;吳秀華
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/66
• 代理公司: 南京瑞弘專利商標事務所(普通合伙)32249
• 代理人: 楊曉玲

技術領域

本發明涉及人臉識別領域，尤其涉及一種基于視頻圖像序列的人臉表情識別方法。

背景技術

在眾多的生物特征中，人臉無疑是最具表現力的一部分。在人與人的當面交流中，人臉作為信息傳遞最直接的媒介，扮演者極為重要的角色，我們通過分析可以感知人臉情緒。為了使計算機具備相同的能力，人臉視覺感知成為人機交互、安全認證等計算機科學領域的重要研究課題。其中，人臉表情識別是一個涉及到模式識別、圖像處理、人工智能等多學科的綜合課題。所謂人臉表情識別是讓計算機對人臉的表情信息進行特征提取分析，結合人類所具有的表情信息方面的先驗知識使它進行自我思考、推理以及判斷，進而去理解人臉表情蘊含的信息，實現人機之間智能化的交互。它在許多領域都有著潛在的應用價值，包括機器人技術、圖像理解、視頻檢索、合成臉部動畫、心理學研究、虛擬現實技術等。對人臉表情識別的研究主要包括三個部分：人臉檢測、表情特征提取以及表情分類。目前在這三個方面計算機視覺研究者們進行了很多研究，但這三個方面仍有問題未得到很好的解決，包括人臉誤檢、表情識別的魯棒等。

發明內容

發明目的：為了克服現有技術中存在的不足，本發明提供一種基于視頻圖像序列的人臉表情識別方法，通過紋理特征分析視頻中獲取的關鍵幀，能有效抑制干擾、降低計算復雜度和提高識別率。

為實現上述目的，本發明采取如下技術方案：

一種基于視頻圖像序列的人臉表情識別方法，包括如下步驟：

（1）身份驗證：從視頻中捕捉圖像，獲得該視頻中的用戶信息，然后通過與人臉訓練樣本的比對，進行身份驗證，確定用戶表情庫；

（2）表情識別：對視頻進行紋理特征提取，獲得用戶表情程度最大化時的關鍵幀，將關鍵幀圖像與步驟（1）確定的用戶表情庫中的表情訓練樣本進行比對，最終輸出表情識別的統計結果。

更進一步的，步驟（1）包括如下步驟：

（11）視頻用戶信息提??；

（12）身份驗證。

更進一步的，步驟（2）包括如下步驟：

（21）視頻關鍵幀提?。?/p>

（22）人臉區域的檢測；

（23）人臉區域的定位；

（24）人臉表情特征的提取；

（25）表情特征的分類識別；

（26）表情識別結果輸出。

更進一步的，步驟（21）包括如下步驟：

（211）采用逆差矩特征參數提取視頻所反映的紋理特征，得到視頻每幀的紋理特征參數值隨著視頻幀的變化曲線；

（212）對步驟（211）所述變化曲線參數進行最大最小歸一化處理；

（213）對步驟（211）所述變化曲線進行曲線平滑擬合處理。

更進一步的，步驟（22）采用基于膚色模型的人臉區域定位方法，包括如下步驟：

（221）將視頻圖像基于彩色空間的RGB模型轉換為YCbCr模型；

（222）選取合適閾值將視頻圖像彩色差值圖轉換成二值差值圖像。

更進一步的，步驟（23）結合灰度圖像邊緣檢測方法，采用4連通方法提取連通區域，在區域內尋找面積最大的板塊，確認人臉所在位置，完成人臉區域的定位。

更進一步的，步驟（24）采用基于平均值的主成分分析表情人臉特征提取方法，具體包括如下步驟：

（241）計算用戶表情庫訓練樣本特征向量

設訓練樣本的維數為n，共有L類，N₁,N₂,...,N_L分別表示每一類訓練樣本的數目，N為訓練樣本總數，第c類訓練樣本集合表示為其中，N_c為第c類訓練樣本的數目；所有訓練樣本集合用X={X₁,X₂,...,X_L}表示；

第c類訓練樣本的平均臉定義為：