[發明專利]基于時空圖卷積網絡的面部表情運動單元識別方法

在審

• 申請號: 202011528440.6
• 申請日: 2020-12-22
• 公開（公告）號: CN112633153A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉志磊;張慶陽;董威龍;陳浩陽;都景舜
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程小艷

1.基于時空圖卷積網絡的面部表情運動單元識別方法，其特征在于,通過卷積自編碼器對面部運動單元AU區域進行特征提取，然后根據AU時空關系密切程度構造AU序列的時空關系圖，最后基于ST-GCN進行AU識別。

2.根據權利要求1所述的基于時空圖卷積網絡的面部表情運動單元識別方法，其特征在于,具體步驟如下：

1)通過自編碼器對AU局部區域進行特征提取：

對圖像幀序列中的每一幀圖像基于面部關鍵點信息獲取各個AU的中心位置，根據AU中心位置劃分出n*n大小的區域作為對應AU所在的局部區域；

將所有AU所在局部區域輸入每個AU特定的自編碼器進行編碼，從而獲取到d₀維充分包含AU信息的深度表示；

2)構建AU序列的無向時空關系圖，從而對AU之間的時空關系進行建模：AU時空關系圖中的每一個節點由1)中提取到的一個AU的深度表示向量構成，AU關系圖中的節點根據相互之間聯系的密切程度進行連接；

①空間關系構建：通過統計訓練集中AU的共現概率，構造關系矩陣M表示AU之間關聯的密切程度，設置閾值h，將關聯密切程度大于h的AU進行連接，從而對AU在空間上的鄰接關系進行建模；

②時間關系構建：設置時間閾值τ，將圖像幀序列中時間間隔不超過τ個圖像幀且屬于同一個AU的節點進行連接，從而對AU節點在時間上的關系進行建模；

3)基于ST-GCN時空圖卷積模型進行AU識別：使用ST-GCN在2)中構建的AU序列時空關系圖上進行多次圖卷積操作，得到包含空間和時間信息的深度AU特征表示，通過全連接神經網絡對深度AU特征表示進行分類，得到AU的識別結果。

3.根據權利要求2所述的時空圖卷積網絡的面部表情運動單元識別方法，其特征在于，步驟1)具體地，對輸入的視頻進行劃分以提取每一幀圖像上的AU局部區域：

首先，將每一幀圖像上的各個AU關鍵點作為中心，提取出n*n大小的區域作為該AU所在的局部區域；

然后，將提取的各個AU局部區域送入單獨的自編碼器進行編碼，以獲取包含特定AU相關信息的特征向量，在每個AU局部區域的自編碼器學習過程中，使用以下兩種損失函數進行約束：

第一種是像素級重建損失函數L_R：

其中，n為每個AU ROI的大小，I^GT是AU ROI的真實值，I^R是重建出的AU ROI圖像；

第二種是ROI級多標簽AU檢測損失函數

其中：C是類別的數量，R是上一步中獲取到的ROI數量，Y^ROI∈{0,1},R×C是AU標簽的真實值，表示AU j在AU ROI i中不活躍,表示AUj在AUROI i中活躍，用于衡量當前ROI是否含有特定AU；

最后，使用權衡參數λ將上述兩種損失函數合并，得到最終用于AU深度表示提取的損失函數如下：

L_ROI＝L_{ROI_softmax}+λ₁L_R。

4.根據權利要求2所述的時空圖卷積網絡的面部表情運動單元識別方法，其特征在于，步驟2)具體：AU序列時空關系圖中的鄰居關系分為三類：AU節點與自身的鄰居關系、空間上的鄰居關系、時間上的鄰居關系；

對于某一結點v_ti，其鄰居集合B(v_ti)定義如下：

v_ti是第t幀的第i個節點，B(v_ti)為v_ti節點的鄰居集，d(x,y)指同一幀內兩節點間的共現概率，|x-y|為是兩節點時間上的間隔距離，K,Γ分別為共現概率和時間距離的閾值；

K,Γ作為模型的超參數，通過訓練選取合適的值；

最終得到AU的時空關系鄰接矩陣，關系圖中每個節點代表一個AU特征向量，相鄰的節點代表在時間或空間上與當前AU節點有密切關系的AU，通過AU時空關系鄰接矩陣即可表示AU的時空關系圖。

5.根據權利要求2所述的時空圖卷積網絡的面部表情運動單元識別方法，其特征在于，步驟3)具體：使用ST-GCN模型在步驟3)中構建的AU時空關系圖上進行圖卷積操作，即分別對時空關系圖中的每個節點進行圖卷積操作，將鄰居集合劃分為不同的子集，首先定義單幀的映射函數l：

l∶B(v_ti)→{0,1,…,K-1}

映射函數l將v_ti的鄰居集B映射為K個不同子集，每個子集對應一個標簽號；

為了同時計算時間維度上的子集，定義l_ST映射函數：

即在原來單幀的子集標簽上加上時間上的間隔距離,l,l_ST的參數分別為當前結點和要映射的鄰居節點；

圖卷積操作的公式如下：

f_in(*),f_out(*)分別為該節點的卷積輸入特征值和輸出特征值；Z_ti(v_tj)＝|{v_tk|l_ti(v_tk)＝l_ti(v_tj)}|，也就是v_tj所屬子集的勢，這里用作正則項來平衡不同子集大小對結果的影響；w(*)為每個鄰居子集自己的權重函數，通過學習得到；

然后，對時空關系圖的鄰接矩陣使用上述公式進行卷積操作，反復進行圖卷積操作后，深度特征向量便可以充分表示各個AU之間的聯系、AU自身特征；

最后，將深度特征表示的向量使用全卷積神經網絡進行分類，得到AU識別的分類結果。