[發明專利]一種視頻人體交互行為識別方法及系統

有效

• 申請號: 201910505812.4
• 申請日: 2019-06-12
• 公開（公告）號: CN110334607B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 王中元;江恒烜;何政;韓鎮;肖晶
• 申請（專利權）人: 武漢大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/44;G06V10/764;G06K9/62
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

1.一種視頻人體交互行為識別方法，其特征在于，包括以下步驟：

步驟1：針對輸入視頻，對視頻中的人體圖像進行分割；

步驟2：針對分割后的各個人體圖像，進行個體特征提取；

步驟3：針對輸入視頻，對視頻中的人體圖像進行交互特征提取；

其中，采用基于HICAN進行交互特征提取；HICAN為改進的ICAN，HICAN在保證ICAN功能不變的前提下，將原網絡中的ResNet5特征提取模塊改為基于對象流的3D-Inception V3網絡；同時，為了適應Inception V3的邊界框大小，修改輸入節點的尺寸，將ICAN中ROIPooling的輸入尺寸改為2048；其中，交互特征包括肢體熱力圖、空間關系；

步驟4：將步驟2中提取的個體特征和步驟3中提取的交互特征進行特征融合，級聯成一個特征向量；

步驟5：將融合后的特征向量轉化為每類動作的概率。

2.根據權利要求1所述的視頻人體交互行為識別方法，其特征在于：步驟1中，通過行人檢測算法來檢測和追蹤交互行為個體的邊界框，并依照得到的邊界框來實現單個個體的分割。

3.根據權利要求2所述的頻人體交互行為識別方法，其特征在于：采用抽幀取樣的處理方式，每隔5幀采樣一次，將采用視頻傳入YOLOv3模型中進行行人檢測；同時，使用卡爾曼濾波的方法對檢測到的行人進行跟蹤。

4.根據權利要求1所述的視頻人體交互行為識別方法，其特征在于：步驟2中，采用基于3D-Inception V3進行個體特征提取，通過三維卷積核在整個視頻數據上進行時空滑動，生成與輸入視頻數據對應的3D特征圖FM；

其中，個體特征包括時空興趣點、運動歷史圖；V表示輸入視頻，Kernel表示卷積核；i、j表示圖像塊的空間位置，k表示視頻幀的時域序號；H、W、L分別表示視頻幀的高度、寬度和同時處理的幀數。

5.根據權利要求1所述的視頻人體交互行為識別方法，其特征在于：步驟4中，為維持融合后特征幅值的一致性，在級聯前首先對各自特征進行歸一化處理；歸一化公式如下：

其中，μ、σ分別代表特征向量x的均值和方差；歸一化后的特征將分布在[-1,1]范圍。

6.根據權利要求1-5任意一項所述的視頻人體交互行為識別方法，其特征在于：步驟5中，采用Softmax分類器將融合后的特征向量轉化為每類動作的概率；假設共有K個動作類別，對于給定的特征v，其屬于類別i的概率p_i計算為：

其中，w_i表示第i個分類器的權重。

7.一種視頻人體交互行為識別系統，其特征在于：包括人體分割模塊、個體特征提取模塊、交互特征提取模塊、特征融合模塊、動作分類模塊；

所述人體分割模塊，用于針對輸入視頻，對視頻中的人體圖像進行分割；

所述個體特征提取模塊，用于針對分割后的各個人體圖像，進行個體特征提取；

所述交互特征提取模塊，用于針對輸入視頻，對視頻中的人體圖像進行交互特征提取；其中，采用基于HICAN進行交互特征提取；HICAN為改進的ICAN，HICAN在保證ICAN功能不變的前提下，將原網絡中的ResNet5特征提取模塊改為基于對象流的3D-Inception V3網絡；同時，為了適應Inception V3的邊界框大小，修改輸入節點的尺寸，將ICAN中ROI Pooling的輸入尺寸改為2048；其中，交互特征包括肢體熱力圖、空間關系；

所述特征融合模塊，用于將提取的個體特征和提取的交互特征進行特征融合，級聯成一個特征向量；

所述動作分類模塊，用于將融合后的特征向量轉化為每類動作的概率。