[發(fā)明專利]一種基于動作和面部表情的人物交互關(guān)系識別方法

有效

• 申請?zhí)枺?/td>: 201910171315.5
• 申請日: 2019-03-07
• 公開（公告）號: CN109948483B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計）人: 王中元;江恒烜;韓鎮(zhèn);梁超
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06K9/62
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 魏波

本發(fā)明公開了一種基于動作和面部表情的人物交互關(guān)系識別方法，包括人體交互行為識別過程、人臉面部表情識別及交互人物關(guān)系挖掘。在人體交互行為識別過程中，使用基于個體分離的識別分類技術(shù)，采用先分離后融合的特征融合方法有效提升交互行為識別精度。在人臉面部表情識別過程中，采用基于深度卷積網(wǎng)絡(luò)的特征抽取方法獲得具有魯棒性的人臉特征，然后使用概率分布函數(shù)實現(xiàn)人臉表情分類。最后結(jié)合人物的交互動作及交互時的表情，提取出了交互雙方的行為語義關(guān)系。本發(fā)明可以有效的根據(jù)發(fā)生交互動作時的行為及雙方面部表情判斷出兩者的社會行為關(guān)系，在社會安全領(lǐng)域具有實際應(yīng)用價值。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，涉及一種視頻數(shù)據(jù)中人物交互關(guān)系的識別方法，具體涉及一種基于動作和面部表情的人物交互關(guān)系識別方法。

技術(shù)背景

視頻中的人物是構(gòu)成視頻內(nèi)容的主要實體，過去的研究只是停留把每個人物看做獨立個體進行研究，忽略了他們之間客觀存在的社會聯(lián)系。通過人物典型動作識別及關(guān)聯(lián)人物交互行為分析，識別視頻中的人物關(guān)系，有助于挖掘視頻更深層的語義，達到準確偵測感興趣人物間互動行為類型的目的。同時，方便用戶更高效地組織、檢索視頻，從新的角度來解讀視頻內(nèi)容。

人物之間的對立、友好關(guān)系在監(jiān)控視頻的案件偵查、影視視頻的故事情節(jié)解析中具有重要作用。視頻人物之間的交互動作及發(fā)生互動行為時的面部表情能夠揭示人物之間的對立或友好關(guān)系，如握手或擁抱行為更可能反映出二者之間的友好關(guān)系，而踢打或推搡行為反映的是對立關(guān)系。但有些交互動作并沒有明確的人物語義關(guān)系信息(如指手)，甚至沒有明確的交互動作行為發(fā)生(如談話)，這種情況下單憑交互動作行為識別人物關(guān)系存在困難，但此時人物之間的面部表情可作為對立、友好關(guān)系抽取的依據(jù)，憤怒表情更多地暗示二者之間的對立關(guān)系而高興表情則更多表明出友好關(guān)系。

深度學(xué)習(xí)技術(shù)促進了基于視頻的人體動作和表情識別的發(fā)展。研究人員已經(jīng)使用卷積神經(jīng)網(wǎng)絡(luò)識別人體動作，通過架構(gòu)不同卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以獲得不同的人體行為識別功能，通常將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)拓展到具有時間信息的3D卷積神經(jīng)網(wǎng)絡(luò)，在視頻數(shù)據(jù)的時間維度和空間維度上進行特征計算，并使用光流數(shù)據(jù)捕獲運動信息。而對于更加復(fù)雜的視頻交互行為識別而言，常用的識別方法可分為兩類：基于整體的交互行為識別方法和基于人物分割的交互行為識別方法。基于整體的交互行為識別方法更多關(guān)注于發(fā)生交互動作時的動作細節(jié)，以及背景變化對識別精度的影響。而基于人物分割的識別方法對單人肢體細節(jié)有更多的考量。研究人員發(fā)現(xiàn)，在背景相對靜止的情形下，基于個體分割的交互行為識別方法表現(xiàn)出更為魯棒的識別精度。

人臉表情是最直接、最有效的情感識別模式，在現(xiàn)實生活中有很多實際的應(yīng)用，例如疲勞駕駛檢測、手機端實時表情識別等。交互雙方在發(fā)生交互行為時的面部表情能較好的反映出兩人當前所蘊含的情感。故此，可以考慮將人臉表情識別作為判斷交互雙方間行為關(guān)系的有利依據(jù)。

現(xiàn)有的交互行為識別僅可實現(xiàn)特定行為分類，但無法直接有效的判斷出交互雙方的行為關(guān)系，而交互雙方的面部表情可以作為判斷交互雙方關(guān)系的一個良好補充。因此，結(jié)合動作及面部表情的方法可以有效的提取出交互行為中蘊含的語義信息。對于交互行為識別，可以采用基于人物分割的交互行為識別方法來實現(xiàn)相關(guān)行為分類。對于面部表情識別，可以采用深度學(xué)習(xí)對人臉特征進行有效建模。

發(fā)明內(nèi)容

為了準確判斷交互雙方間的社會行為關(guān)系，本發(fā)明開拓性地提出了一種融合動作和面部表情的人物交互關(guān)系識別方法。

本發(fā)明所采用的技術(shù)方案是：一種基于動作和面部表情的人物交互關(guān)系識別方法，其特征在于，包括以下步驟：

步驟1：使用基于個體分割的方式實現(xiàn)交互行為識別分類；

具體實現(xiàn)包括以下子步驟：

步驟1.1：將公開交互行為數(shù)據(jù)集拆分為訓(xùn)練集與驗證集，并使用水平翻轉(zhuǎn)、像素變化等方法對訓(xùn)練數(shù)據(jù)進行數(shù)據(jù)擴充以保證訓(xùn)練結(jié)果的泛化性；