[發明專利]一種基于動作和面部表情的人物交互關系識別方法

有效

• 申請號: 201910171315.5
• 申請日: 2019-03-07
• 公開（公告）號: CN109948483B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 王中元;江恒烜;韓鎮;梁超
• 申請（專利權）人: 武漢大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06K9/62
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

1.一種基于動作和面部表情的人物交互關系識別方法，其特征在于，包括以下步驟：

步驟1：使用基于個體分割的方式實現交互行為識別分類；

具體實現包括以下子步驟：

步驟1.1：將公開交互行為數據集拆分為訓練集與驗證集，并使用水平翻轉、像素變化等方法對訓練數據進行擴充，以保證訓練結果的泛化性；

步驟1.2：對于每一條輸入的視頻序列，使用隨機縮放、隨機裁剪并加以正則化約束的方法完成數據預處理過程，并以處理完成的數據作為訓練網絡的輸入；

步驟1.3：針對步驟1.2中得到的視頻序列，檢測并追蹤視頻幀中的交互個體，得到相關交互人物在相應視頻幀中的邊界框，根據獲得的邊界框實現交互人物個體的視頻段分割；

步驟1.4：結合步驟1.3中獲得的視頻段及經步驟1.1處理后的交互行為數據集，實現對交互個體及全局特征的特征表達構建；

步驟1.5：對于步驟1.4中得到的交互個體及全局特征的特征表達，預設N類動作類別，使用Softmax概率分類器完成類別分類，并使用交叉熵作為損失函數，通過不斷縮小損失函數數值，以此完成訓練網絡的迭代優化；

步驟1.6：重復步驟1.5，直至訓練網絡至收斂；

步驟2：構建深度學習網絡，實現基于人臉的面部表情識別；

具體實現包括以下子步驟：

步驟2.1：將公開人臉表情數據集按對應表情標簽完成數據集分類，數據集中共包含生氣、開心、恐懼、厭惡、傷心、中性6種表情類型；

步驟2.2：對圖像中的人臉進行檢測與識別，并將檢測到的人臉圖像統一重塑為設定像素值；

步驟2.3：搭建深度卷積神經網絡，將步驟2.1中分類完成的數據集作為卷積神經網絡的輸入；

其中，在建立模型的過程中，為增強網絡的表達能力的同時盡可能減少計算量，在輸入層之后添加1*1卷積層以增加非線性表示、加深網絡深度，在每個卷積層后添加BN層，以減少模型過擬合的風險；

步驟2.4：訓練深度卷積神經網絡,并對深度卷積神經網絡進行循環迭代；

步驟2.5：重復步驟2.4，直至深度卷積神經網絡收斂；

步驟3：融合步驟1及步驟2相關特征，挖掘交互雙方的行為語義關系；

具體實現包括以下子步驟：

步驟3.1：執行步驟1，以實現交互動作的識別分類；

步驟3.2：利用步驟2中的人臉表情識別方法，對步驟3.1中發生交互動作個體檢測交互雙方的面部表情；

步驟3.3：根據步驟3.1分類動作，對兩者關系進行判別；

步驟3.4：重復步驟3.3，得出交互雙方的行為語義關系判別。

2.根據權利要求1所述的基于動作和面部表情的人物交互關系識別方法，其特征在于：在步驟1.1中，采用N-fold留一驗證的方式，將公開交互行為數據集拆分為訓練集與驗證集，并應用水平翻轉及隨機剪裁兩種數據增廣方案實現訓練數據的擴充以保證訓練結果的泛化性。

3.根據權利要求1所述的基于動作和面部表情的人物交互關系識別方法，其特征在于：步驟1.3中，對于每一條輸入的視頻序列，均將其縮放至L*128*144，然后將每個視頻序列隨機剪裁至L*112*128，并以此作為訓練網絡的輸入大小，其中L表示每個視頻數據集的總幀數；此外，為了減少光照或者背景對識別精度的影響，通過計算視頻中每個像素的標準差來實現圖像的正則化；

其中視頻中每個像素的標準差計算公式為：

其中，d表示每張視頻幀的維度，l表示一個視頻序列中的幀數量，w表示每張視頻幀的寬度，h表示每張視頻幀的高度，N則表示視頻數據總量；μ和Std分別表示所有訓練視頻的平均值和標準差；P(Norm)表示視頻幀經過正則化后的實際像素哈值，P(d,l,w,h)表示視頻幀的像素值。

4.根據權利要求1所述的基于動作和面部表情的人物交互關系識別方法，其特征在于：步驟1.4中，對于公開交互行為數據集采用方向梯度直方圖融合支持向量機的方法來檢測視頻幀中的交互個體；并使用Kalman濾波來追蹤視頻幀中的行人，通過視頻追蹤技術，得到相關交互人物在相應視頻幀中的邊界框，根據獲得的邊界框實現交互人物個體的視頻段分割。