[發明專利]一種基于時空圖卷積神經網絡的動態表情識別方法及系統

有效

• 申請號: 202110067161.2
• 申請日: 2021-01-19
• 公開（公告）號: CN112800903B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 盧官明;繆遠俊;盧峻禾
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06K9/62;G06N3/04;G06N3/08;G06V10/764
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 孟紅梅

1.一種基于時空圖卷積神經網絡的動態表情識別方法，其特征在于，該方法包括以下步驟：

(1)對動態表情數據集中的每一個表情序列進行預處理，得到等長的表情序列；

(2)對預處理后的表情序列中每幀圖像進行人臉關鍵點檢測，得到每個關鍵點的位置坐標及編號，并對關鍵點的坐標進行歸一化；

(3)提取表情序列中每個關鍵點的局部紋理特征向量，并與該關鍵點的歸一化坐標進行拼接，得到關鍵點的局部融合特征向量；

(4)連接表情序列同幀間的關鍵點形成空域邊，連接相鄰幀相同編號的關鍵點形成時域邊，形成時空拓撲圖的邊集，將表情序列的關鍵點集合作為時空拓撲圖的節點集，構建時空拓撲圖；

(5)構建時空圖卷積神經網絡，該網絡包含多個順序連接的時空圖卷積塊，一個全局平均池化層，兩個全連接層以及一個分類層；所述時空圖卷積塊中的空間圖卷積在實現空域上相鄰節點特征融合的基礎上，首先計算節點間的相似度，得到相似度矩陣，然后將該矩陣與輸入特征相乘，實現空域上相似節點特征的融合；

(6)利用構建的時空拓撲圖和對應的表情類別對時空圖卷積神經網絡進行訓練，得到訓練好的時空圖卷積神經網絡模型；

(7)將基于新的表情序列生成的時空拓撲圖作為輸入，利用訓練好的網絡模型進行識別，輸出最終的分類結果。

2.根據權利要求1所述的一種基于時空圖卷積神經網絡的動態表情識別方法，其特征在于，所述步驟(1)中的預處理包括以下子步驟：

(1.1)將每個表情序列截取成長度為S的幀序列，對于多于S幀的序列，截取序列的最后S幀，對于少于S幀的序列，利用序列的最后一幀擴充至S幀；其中S為設定的表情序列的幀長；

(1.2)對序列中每一幀圖像的尺寸進行歸一化處理，使每一幀圖像的大小都為m×n像素；其中m、n為設定的圖像寬度和高度。

3.根據權利要求1所述的一種基于時空圖卷積神經網絡的動態表情識別方法，其特征在于，所述步驟(2)中的對關鍵點的坐標進行歸一化包括以下子步驟：

(2.1)對預處理后的表情序列中每幀圖像進行人臉關鍵點檢測，得到關鍵點的集合為V＝{v_t，i|1≤t≤S，1≤i≤N}，其中v_t，i＝(x_t，i，y_t，i)表示第t幀圖像中編號為i的關鍵點坐標，S表示表情序列的幀長，N表示每幀圖像中關鍵點的個數，這些關鍵點分布在嘴巴、眼睛、眉毛和鼻子部位；

(2.2)將所有關鍵點的坐標減去第一幀中鼻尖關鍵點的坐標，得到坐標歸一化后的關鍵點集合V′＝{v′_t，i|1≤t≤S，1≤i≤N}。

4.根據權利要求1所述的一種基于時空圖卷積神經網絡的動態表情識別方法，其特征在于，所述步驟(3)中的局部融合特征向量具體實現步驟如下：

記從第t幀中編號為i的關鍵點提取的局部紋理特征向量為l_t，i，將該特征向量與該關鍵點的歸一化坐標v′_t，i進行拼接，得到關鍵點的局部融合特征向量m_t，i＝{v′_t，i，l_t，i)，通過對動態表情序列中所有關鍵點進行相同的操作，得到的關鍵點集合為M＝{m_t，i|1≤t≤S，1≤i≤N}。

5.根據權利要求1所述一種基于時空圖卷積神經網絡的動態表情識別方法，其特征在于，所述步驟(4)中連接表情序列同幀間的關鍵點形成空域邊的方法為：首先對分布在嘴巴、眼睛、眉毛和鼻子部位處的關鍵點按照人臉的幾何結構進行連接，形成各部位子圖的邊；然后為了便于信息在各部位子圖間的流通，對各子圖進行相互連接，形成各子圖間的邊。