[發明專利]一種基于圖卷積神經網絡的人臉表情識別方法

有效

• 申請號: 201910091261.1
• 申請日: 2019-01-30
• 公開（公告）號: CN110008819B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 柴利;吳晨暉;楊君;盛玉霞
• 申請（專利權）人: 武漢科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V10/774
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 張火春

1.一種基于圖卷積神經網絡的人臉表情識別方法，其特征在于所述人臉表情識別方法的具體步驟是：

步驟1、獲取一組大小為m×m的人臉表情的灰度圖像，組成人臉表情圖像集合Image，將人臉表情圖像集合Image中的每張人臉表情的灰度圖像對應的人臉表情標記組成人臉表情標記集合Label；其中的每張人臉表情的灰度圖像對應的人臉表情標記為高興、吃驚、悲傷、憤怒、厭惡和恐懼中的一種；

步驟2、將人臉表情圖像集合Image中每張人臉表情的灰度圖像轉換成無向圖，組成人臉表情無向圖集合Graph；

所述人臉表情的灰度圖像轉換成無向圖的具體步驟是：

步驟2.1、將人臉表情的灰度圖像中的每一個像素點作為無向圖中的一個頂點；

步驟2.2、設人臉表情的灰度圖像中相鄰的兩個像素點之間的距離為1；

步驟2.3、將人臉表情的灰度圖像中的每一個像素點依次作為中心像素點，然后進行如下操作：

先將距中心像素點的歐氏距離小于等于2的像素點組成固定取點集合Fixed；

再將距中心像素點的歐氏距離大于2且小于4的像素點組成隨機取點集合Random；

然后將中心像素點所對應的無向圖的頂點與固定取點集合Fixed中所有像素點所對應的無向圖的頂點相連，將中心像素點所對應的無向圖的頂點與隨機取點集合Random中隨機選取p個像素點所對應的無向圖的頂點相連；

步驟2.4、轉換成的無向圖的鄰接矩陣W的第i行第j列的數值W_ij為：

式(1)中：s_ij表示人臉表情的灰度圖像中的第i個像素點v_i與第j個像素點v_j之間的歐式距離；

所述無向圖的鄰接矩陣W∈R^nxn；

步驟3、根據人臉表情無向圖集合Graph和人臉表情標記集合Label，建立人臉表情識別分類器：

步驟3.1、一個圖卷積神經網絡含有6個圖卷積層、一個全連接層和一個softmax層；每個圖卷積層含有一個圖信號濾波層和一個圖的粗化層，確定每個圖卷積層中的輸入無向圖的個數、輸出無向圖的個數和使用濾波器的大小，確定全連接層的節點數M_f；softmax層有6個輸出，分別對應6種基本表情；

步驟3.2、將第1個圖卷積層的可訓練參數θ¹、第2個圖卷積層的可訓練參數θ²、第3個圖卷積層的可訓練參數θ³、第4個圖卷積層的可訓練參數θ⁴、第5個圖卷積層的可訓練參數θ⁵、第6個圖卷積層的可訓練參數θ⁶、全連接層的可訓練參數θ^f和softmax層的可訓練參數θ^soft組成圖卷積神經網絡的可訓練參數集合θ；

步驟3.3、將圖卷積神經網絡的可訓練參數集合θ初始化；

步驟3.4、將圖卷積神經網絡的可訓練參數集合θ和人臉表情無向圖集合Graph放入圖卷積神經網絡進行前向傳播，得到人臉表情標記預測集合Predict；人臉表情標記預測集合Predict是由人臉表情圖像的無向圖訓練集合Graph中每個無向圖的預測的人臉表情標記結果組成；

步驟3.5、計算人臉表情標記集合Label與人臉表情標記預測集合Predict之間的誤差；使用最小化均方誤差代價函數的方法更新圖卷積神經網絡的可訓練參數集合θ，然后執行步驟3.4，直到人臉表情標記集合Label與人臉表情標記預測集合Predict之間的誤差小于0.1；

步驟3.6、圖卷積神經網絡的可訓練參數集合θ和圖卷積神經網絡組成人臉表情識別的分類器；

步驟4、輸入一張待識別的人臉表情圖像，進行灰度化，提取人臉部分圖像，再將人臉部分圖像的大小歸一化到m×m，得到歸一化后的人臉圖像；然后將歸一化后的人臉圖像轉換成無向圖，最后將無向圖輸入至人臉表情識別的分類器，得到人臉表情的識別結果。

2.根據權利要求1所述基于圖卷積神經網絡的人臉表情識別方法，其特征在于所述的圖卷積神經網絡進行前向傳播的具體步驟：

步驟1、將人臉表情無向圖集合Graph輸入圖卷積神經網絡，第s個圖卷積層的輸入和輸出關系是：

式(2)和式(3)中：

x_s,i表示圖卷積神經網絡的第s個圖卷積層輸入的第i個無向圖，

y_s,j表示圖卷積神經網絡的第s個圖卷積層輸出的第j個無向圖，

M_in表示圖卷積神經網絡的第s個圖卷積層輸入點的無向圖的個數，

K表示圖卷積神經網絡的第s個圖卷積層的濾波器大小，

L表示圖卷積神經網絡的第s個圖卷積層輸入的無向圖的拉普拉斯矩陣，

表示第s個圖卷積層中將輸入的第i個無向圖轉換成輸出的第j個無向圖的過程中的可訓練參數向量，

表示第s個圖卷積層中將輸入的第i個無向圖轉換成輸出的第j個無向圖的過程中的可訓練參數向量中第k個數，

f(·)表示使用基于貪婪算法的圖的粗化算法對括號中的無向圖進行粗化操作；

步驟2、將經過6個圖卷積層后得到的無向圖的頂點值排成列向量x_fin，將列向量x_fin輸入全連接層，全連接層的輸入和輸出為：

x_fout＝f_ReLU(θ^fx_fin) (4)

式(4)中：

x_fout表示全連接層的輸出向量，

θ^f表示全連接層的可訓練參數，

表示ReLU激活函數；

步驟3、將全連接層的輸出x_fout輸入至softmax層，softmax層的中間向量x_softmid和輸出向量x_softout的第i個數為：

x_softmid＝f_ReLU(θ^softx_fout) (5)

式(5)～(6)中：

θ^soft表示softmax層的可訓練參數，

x_softmid表示softmax層的中間向量，

表示softmax層的中間向量x_softin的第i個數，

表示softmax層的輸出向量x_softout中的第i個數；

步驟4、softmax層的輸出向量x_softout中的數分別表示6種基本表情的可能性，將softmax層的輸出向量x_softout中數字最大的對應的基本表情作為該無向圖的人臉表情標記。