[發明專利]一種基于圖卷積神經網絡的人臉表情識別方法

有效

• 申請號: 201910091261.1
• 申請日: 2019-01-30
• 公開（公告）號: CN110008819B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 柴利;吳晨暉;楊君;盛玉霞
• 申請（專利權）人: 武漢科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V10/774
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 張火春

本發明涉及一種基于圖卷積神經網絡的人臉表情識別方法。其技術方案是：首先，獲取人臉表情圖像集合Image和人臉表情標記集合Label；然后，根據人臉表情圖像集合Image得到人臉表情無向圖集合Graph；再根據人臉表情無向圖集合Graph和人臉表情標記集合Label，建立人臉表情識別分類器；最后，輸入一張待識別的人臉表情圖像，進行灰度化，提取人臉部分圖像，再將人臉部分圖像的大小歸一化到m×m，得到歸一化后的人臉圖像，將歸一化后的人臉圖像轉換成無向圖，將無向圖輸入至人臉表情識別的分類器，得到人臉表情的識別結果。本發明具有能提取較為廣泛的圖像特征的特點，人臉表情識別率高。

技術領域

本發明屬于人臉表情識別技術領域。具體涉及一種基于圖卷積神經網絡的人臉表情識別方法。

背景技術

人臉表情不僅是人類心理活動的生理表現，而且在人際溝通中有著不可或缺的重要性。人臉表情識別的方法有兩類：基于機器學習的識別方法和基于深度學習的識別方法。

基于機器學習的識別方法易受特征提取效果優劣的影響。而基于深度學習識別方法將特征提取和表情分類結合在一起，克服基于機器學習的識別方法的缺點。

基于深度學習的方法中，卷積神經網絡被廣泛使用于建立表情分類模型。Matsuguetal(Matsugu M,Mori K,Mitari Y,et al.Subject independent facialexpression recognition with robust face detection using a convolutionalneural network[J].Neural Networks,2003,16(5-6):555-559)使用卷積神經網絡建立人臉表情分類器用于人臉表情的分類。使用該方法雖然獲得了較高的識別率，但使用卷積神經網絡建立的分類器只能提取圖像中的8鄰域的相關信息，對于相距較遠像素點之間的相關信息的提取能力較差。影響了建立的分類器對人臉表情識別的正確率。

發明內容

本發明旨在克服現有技術缺陷，目的在于提供一種基于圖卷積神經網絡的人臉表情識別方法；該方法能提取較為廣泛的像素點之間相關信息，人臉表情識別率高。

為了實現上述目的，本發明采用的技術方案的具體步驟是：

步驟1、獲取一組大小為m×m的人臉表情的灰度圖像，組成人臉表情圖像集合Image，將人臉表情圖像集合Image中的每張人臉表情的灰度圖像對應的人臉表情標記組成人臉表情標記集合Label；其中的每張人臉表情的灰度圖像對應的人臉表情標記為高興、吃驚、悲傷、憤怒、厭惡和恐懼中的一種。

步驟2、將人臉表情圖像集合Image中每張人臉表情的灰度圖像轉換成無向圖，組成人臉表情無向圖集合Graph。

所述人臉表情的灰度圖像轉換成無向圖的具體步驟是：

步驟2.1、將人臉表情的灰度圖像中的每一個像素點作為無向圖中的一個頂點。

步驟2.2、設人臉表情的灰度圖像中相鄰的兩個像素點之間的距離為1。

步驟2.3、將人臉表情的灰度圖像中的每一個像素點依次作為中心像素點，然后進行如下操作：

先將距中心像素點的歐氏距離小于等于2的像素點組成固定取點集合Fixed。

再將距中心像素點的歐氏距離大于2且小于4的像素點組成隨機取點集合Random。

然后將中心像素點所對應的無向圖的頂點與固定取點集合Fixed中所有像素點所對應的無向圖的頂點相連，將中心像素點所對應的無向圖的頂點與隨機取點集合Random中隨機選取p個像素點所對應的無向圖的頂點相連。

步驟2.4、轉換成的無向圖的鄰接矩陣W的第i行第j列的數值W_ij為：