[發(fā)明專利]基于時空圖卷積網(wǎng)絡(luò)的面部表情運動單元識別方法

在審

• 申請?zhí)枺?/td>: 202011528440.6
• 申請日: 2020-12-22
• 公開（公告）號: CN112633153A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 劉志磊;張慶陽;董威龍;陳浩陽;都景舜
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程小艷

本發(fā)明公開了基于時空圖卷積網(wǎng)絡(luò)的面部表情運動單元識別方法，通過卷積自編碼器對面部運動單元AU區(qū)域進行特征提取，然后根據(jù)AU時空關(guān)系密切程度構(gòu)造AU序列的時空關(guān)系圖，最后基于ST?GCN進行AU識別。本發(fā)明應(yīng)用一種基于時空圖卷積網(wǎng)絡(luò)來進行面部運動單元的識別，通過使用無向時空圖模型對AU之間的時空依賴關(guān)系進行建模，并使用時空圖卷積網(wǎng)絡(luò)進行AU深度表示特征的學(xué)習(xí)，以提高AU識別的準(zhǔn)確率。本發(fā)明可以有效解決AU檢測模型魯棒性差、準(zhǔn)確率低等問題，能夠被廣泛應(yīng)用于表情分析、情感計算、人機交互應(yīng)用。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺和情感計算技術(shù)領(lǐng)域，尤其涉及一種基于時空圖卷積網(wǎng)絡(luò)(Spatial-Temporal Graph Convolutional Networks,ST-GCN)的人面部表情運動單元識別(ActionUnit，AU)，該方法可被廣泛應(yīng)用于情緒識別、人機交互等領(lǐng)域。

背景技術(shù)

面部表情能夠揭示人的內(nèi)心活動、精神狀態(tài)以及向外傳達的社交行為。隨著人工智能的發(fā)展，以人為中心的面部表情識別已逐漸受到業(yè)界和學(xué)術(shù)界的普遍關(guān)注。使用面部運動編碼系統(tǒng)進行表情分析是面部表情識別的常用方法之一。

面部運動編碼系統(tǒng)(Facial Action Coding System，F(xiàn)ACS)從解剖學(xué)角度將人的面部按照肌肉的運動分為44個面部運動單元，用來表示人面部不同區(qū)域肌肉的運動情況。例如AU7表示是否收緊眼瞼，AU23表示是否收緊雙唇等。相較于使用六種基本表情(憤怒、厭惡、恐懼、高興、悲傷和驚訝)，基于AU的面部表情描述方法更為客觀、粒度更細，并且可以避免觀測者主觀判斷所引入的標(biāo)注歧義性。基于計算機的自動化AU檢測，可以準(zhǔn)確分析面部表情進而理解個體情緒，在駕駛員疲勞檢測、病患疼痛估計、心理學(xué)研究等領(lǐng)域有著良好的應(yīng)用前景。

隨著深度學(xué)習(xí)相關(guān)理論和技術(shù)的發(fā)展，AU的檢測技術(shù)也取得了顯著的進步。但與此同時AU檢測依然面臨著諸多挑戰(zhàn)，實際應(yīng)用場景中AU的數(shù)據(jù)具有較高的復(fù)雜性，頭部姿態(tài)、遮擋、復(fù)雜光照等因素會造成AU識別模型性能的明顯下降。此外，由于人種族、膚色、年齡、性別等方面的個體差異，使得AU識別存在巨大的類內(nèi)差異，也會顯著影響AU識別的準(zhǔn)確率。同時由于AU的標(biāo)注需要專業(yè)的人員花費較多時間才能完成，所以可供訓(xùn)練的數(shù)據(jù)集遠遠不能滿足復(fù)雜場景下對于各個人種檢測的需要，數(shù)據(jù)樣本小，容易出現(xiàn)過擬合。

現(xiàn)有的AU檢測模型中，大多只考慮了同一個時間點內(nèi)不同AU間的關(guān)聯(lián)關(guān)系，而忽略了空間和時間的相關(guān)性。

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于利用ST-GCN(時空圖卷積模型)進行AU識別。

本發(fā)明的技術(shù)方案是基于時空圖卷積網(wǎng)絡(luò)的面部表情運動單元識別方法，通過卷積自編碼器對面部運動單元AU區(qū)域進行特征提取，然后根據(jù)AU時空關(guān)系密切程度構(gòu)造AU序列的時空關(guān)系圖，最后基于ST-GCN進行AU識別。

具體步驟如下：

首先，通過自編碼器對AU局部區(qū)域進行特征提取。對圖像幀序列中的每一幀圖像基于面部關(guān)鍵點(landmark)信息獲取各個AU的中心位置，根據(jù)AU中心位置劃分出n*n大小的區(qū)域作為對應(yīng)AU所在的局部區(qū)域。將所有AU所在局部區(qū)域(ROI)輸入每個AU特定的自編碼器(AEs)進行編碼，從而獲取到d₀維充分包含AU信息的深度表示。

接著，構(gòu)建AU序列的無向時空關(guān)系圖，從而對AU之間的時空關(guān)系進行建模。AU時空關(guān)系圖中的每一個節(jié)點由(1)中提取到的一個AU的深度表示向量構(gòu)成，AU關(guān)系圖中的節(jié)點根據(jù)相互之間聯(lián)系的密切程度進行連接。

①空間關(guān)系構(gòu)建。通過統(tǒng)計訓(xùn)練集中AU的共現(xiàn)概率，構(gòu)造關(guān)系矩陣M表示AU之間關(guān)聯(lián)的密切程度。進一步地，設(shè)置閾值h，將關(guān)聯(lián)密切程度大于h的AU進行連接，從而對AU在空間上的鄰接關(guān)系進行建模。