[發明專利]一種基于深度學習的人臉多區域融合表情識別方法

有效

• 申請號: 201810912957.1
• 申請日: 2018-08-13
• 公開（公告）號: CN109344693B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 王珂堯;常天海;余衛宇
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/40;G06K9/62;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于深度學習的人臉多區域融合表情識別方法，包括下述步驟：用檢測模型檢測出人臉位置；用關鍵點模型得到人臉關鍵點坐標；先根據眼睛部分關鍵點做眼睛對齊；然后根據整體人臉關鍵點坐標做人臉對齊，并通過仿射變換裁剪人臉區域；按照一定的比例裁剪圖像的眼睛和嘴巴區域。卷積神經網絡分為一個主干網絡和兩個支干網絡，在最后一層卷積層進行特征融合，最后通過分類器得到表情分類結果。本發明利用先驗信息，除整個人臉之外還將眼睛和嘴巴區域作為網絡的輸入，通過模型融合使網絡既能學習到人臉表情的整體語義特征也能學習到局部區域特征，簡化了人臉表情識別的難度，減少外部噪聲，有魯棒性強，準確率高，算法復雜度低等優點。

技術領域

本發明涉及計算機視覺和模式識別技術領域，具體涉及一種基于深度學習的人臉多區域融合表情識別方法。

背景技術

基于深度學習的人臉多區域融合表情識別方法是一種人臉表情識別，其目的在于解決人臉表情分類問題。

1971年，心理學家Ekman與Friesen研究提出了人類的六種基本情感，即驚訝(Surprise)、悲傷(Sadness)、憤怒(Anger)、恐懼(Fear)、厭惡(Disgust)與高興(Happiness)，與此對應，人類可產生相應的面部表情。人類表情往往攜帶著比語言更為豐富的信息，因此，人臉表情識別是計算機視覺領域的一個重要研究課題。其研究成果可應用于人機交互、心理疾病患者治療、情感計算與遠程教育等領域，廣泛的應用領域推動著人臉表情識別技術不斷發展。

人臉表情識別最重要的一步是對表情特征的提取。傳統表情識別特征提取主要依靠人工提取特征。主要是幾何特征提取和紋理特征提取兩種方法。幾何特征提取方法主要通過提取人臉的特征點，然后分析不同區域特征點之間的幾何關系，比如眼睛區域和嘴巴區域等，實現對表情的分類識別。常見的有主動形狀模型，改進ASM算法等。紋理特征反映了人臉表情圖像的底層信息，突出體現了局部表情的變化。紋理特征提取方法典型的方法有局部二值模式LBP、Gabor特征、HOG特征、Haar-like特征等。通過圖像的局部信息變化來表達局部紋理特征，用紋理特征進行分類對圖像尺度變換、旋轉和光照變化具有很好的魯棒性，能夠有效地描述圖像的紋理信息，有利于表情識別。

而目前人臉表情識別任務大多基于深度學習算法，深度學習免去了所有需要人工提取表情特征的問題，卷積神經網絡可以自適應學習所有表情特征，用作某一類表情的表達；同時深度學習很好地解決了傳統機器學習對人臉姿態、光照、遮擋物等敏感問題，提高了表情識別的魯棒性和準確率。

人臉表情分類問題一直受到國內外學者的關注，特別是對與現實場景中的人臉表情識別任務，非常具有挑戰性。因現實場景中人臉表情是自發產生的，與大部分實驗室采集樣本差別很大；同時人臉大姿態、大遮擋、光線不均勻、圖片質量參差不齊、表情特征不明顯等問題，增大了識別的難度。

發明內容

本發明的目的是為了解決現有技術中的上述缺陷，提供一種基于深度學習的人臉多區域融合表情識別方法。

本發明的目的可以通過采取如下技術方案達到：

一種基于深度學習的人臉多區域融合表情識別方法，所述的識別方法包括下列步驟：

S1、通過人工標注得到包含人臉表情數據集的RGB圖像，將其分為訓練集和測試集；

S2、從訓練集中得到一張包含人臉的RGB圖像，通過檢測模型對人臉進行檢測，得到人臉的大致位置區域；

S3、根據人臉的大致位置區域，通過人臉關鍵點檢測模型對人臉關鍵點進行檢測得到人臉的關鍵點坐標值；

S4、根據人臉的關鍵點坐標值對目標人臉進行人臉對齊，同時通過仿射變換截取僅包含人臉的第一圖像區域并調整到相同尺寸，人臉關鍵點坐標也根據仿射變換矩陣重新映射到新的坐標；