[發明專利]一種基于深度時空特征的高精度面部表情識別方法有效
| 申請號： | 201710463130.2 | 申請日： | 2017-06-19 |
| 公開（公告）號： | CN107316015B | 公開（公告）日： | 2020-06-30 |
| 發明（設計）人： | 孫寧;李奇;李曉飛 | 申請（專利權）人： | 南京郵電大學 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06T7/33 |
| 代理公司： | 南京經緯專利商標代理有限公司 32200 | 代理人： | 劉莎 |
| 地址： | 210003 江蘇*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 深度 時空 特征 高精度 面部 表情 識別 方法 | ||
本發明公開了一種基于深度時空特征的高精度面部表情識別方法，該方法首先是設計了一種端到端可訓練的多通道深度神經網絡模型，該模型在低層利用多個并聯的深度神經網絡分別提取人臉表情圖像的深度時空特征，然后在高層使用全連接層對多通道深度時空特征數據進行融合，最高層采用softmax層進行識別得到表情分類。該模型將圖像特征提取和特征融合整合為一個可以進行全局訓練的網絡，加深了網絡規模，提高了識別性能。第二個創新點是本發明使用平均臉來替代中性臉，這種做法解決了測試時表情圖像缺少對應的中性臉圖像的問題，使得本發明可以滿足實際場合的應用。本發明在表情識別領域提供了一種新的思路，具有很高的實用價值和發展前景。
技術領域
本發明涉及一種基于深度時空特征的高精度面部表情識別方法，屬于圖像識別技術領域。
背景技術
表情識別一直都是人臉屬性分析領域一個重要課題，目的是通過計算機視覺從人臉關鍵區域提取到可以識別表情的信息，并對該信息進行分類融合。隨著計算機處理能力的顯著提高，該技術在眾多領域都有越來越廣泛的應用。
人們對類似于人和人交流方式的人機交互的需求日益強烈。計算機和機器人如果能夠像人類那樣具有理解和表達情感的能力，將從根本上改變人與計算機之間的關系，使計算機能夠更好地為人類服務。表情識別是情感理解的基礎，是計算機理解人們情感的前提，也是人們探索和理解智能的有效途徑。如果實現計算機對人臉表情的理解與識別將從根本上改變人與計算機的關系，這將對未來人機交互領域產生重大的意義。
發明內容
本發明所要解決的技術問題是提供一種基于深度時空特征的高精度面部表情識別方法，該方法針對單張表情圖像的識別，首先利用預訓練的卷積神經網絡對公開的數據集進行訓練，提取表情圖像空間分布的特征，然后利用多張無表情的中性臉進行加權求平均，使用表情圖像對已經求得的平均表情中性臉做基于梯度的光流運算，得到表情圖像的光流特征圖，同樣使用預訓練的卷積神經網絡對該集合進行訓練，提取表情圖像基于時序上的特征，然后使用端到端的集成網絡對二者提取的特征進行融合，最后得到精確的分類。最終實現性能優秀的人臉表情識別系統。
本發明為解決上述技術問題采用以下技術方案：
本發明提供一種基于深度時空特征的高精度面部表情識別方法，該方法的具體步驟如下：
步驟A，構建多通道卷積神經網絡MCCNN模型；
步驟B，對公開的人臉表情數據庫中的圖像集Iraw進行人臉檢測和配準處理，獲得配準后的人臉表情圖像集Iface；
步驟C，對步驟B得到的Iface中的中性臉圖像進行分組，并對每組中的圖像進行求和平均，得到相應的平均臉圖像集Imean；其中，分組的方法為：首先根據不同膚色進行分組，然后在按膚色分組的基礎上根據不同性別進行分組，最后在按性別分組的基礎上根據不同年齡進行分組；
步驟D，利用基于梯度的光流算法求出步驟B得到的Iface中的圖像相對于步驟C中得到的Imean中對應平均臉圖像的X、Y方向的光流特征圖像Iofx、Iofy；
步驟E，利用大規模目標識別圖像數據庫對MCCNN模型進行預訓練，獲得MCCNN模型的預訓練參數；
步驟F，利用步驟B中得到的Iface以及步驟D中得到的Iface對應的Iofx、Iofy，對步驟E中預訓練完成的MCCNN模型進行遷移學習；
步驟G，通過步驟F中遷移學習完成的MCCNN模型進行表情識別，最后用測試圖像進行測試。
作為本發明的進一步技術方案，步驟A中構建多通道卷積神經網絡MCCNN模型為：
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于南京郵電大學，未經南京郵電大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710463130.2/2.html，轉載請聲明來源鉆瓜專利網。
