[發明專利]一種基于深度時空圖的人體行為識別方法及系統

有效

• 申請號: 201811196370.1
• 申請日: 2018-10-15
• 公開（公告）號: CN109299702B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 侯振杰;李興;林恩;莫宇劍;巢新;楊天金
• 申請（專利權）人: 常州大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度時空圖的人體行為識別方法，其特征在于，所述基于深度時空圖的人體行為識別方法包括：

第一步，通過構建人體的3D面具獲取主要運動部位的深度信息；

第二步，將深度序列每一幀投影到三個正交的笛卡爾平面上，得到每個視角的2D地圖，再將2D地圖投影到行為空間的三個正交軸上，得到各個軸上的1D列表，將這些1D列表二值化處理后按時序拼接生成深度時空圖DSTM；

第三步，對每張深度時空圖DSTM提取HOG特征連接后送入分類器進行人體行為識別；

將深度幀投影到三個正交的笛卡爾平面中，每個3D深度幀根據前視圖，側視圖和俯視圖生成三個2D地圖，表示為map_f、map_s、map_t；選擇使用其中的兩張地圖繼續向正交軸上投影，求取2D地圖的行和與列和列表sum_a，其中a∈{d，w，h}；將和列表sum_a經過二值化處理后生成與寬度軸、高度軸以及深度軸對應的三個1D分布列表，表示為list_w、list_h、list_d；計算公式如下：

其中list_a[i]表示a軸上分布列表的第i個元素；sum_a[i]為與a軸對應的和列表第i個元素；ω表示二值化閾值，通過參數實驗進行選取；

1D分布列表生成方式由map_t的行和得到，或由map_s的列和得到；對于有N幀的深度視頻序列，深度時空圖DSTM的計算公式如下：

其中表示深度圖序列第x幀在a軸上的1D分布列表；DSTM_a[x]表示DSTM_a的第x行。

2.如權利要求1所述的基于深度時空圖的人體行為識別方法，其特征在于，

所述第二步生成深度時空圖DSTM后，對所述深度時空圖DSTM感興趣區域(region ofinterest，ROI)處理，即根據設定感興趣區域，對圖片進行裁剪與大小歸一化操作。

3.如權利要求1所述的基于深度時空圖的人體行為識別方法，其特征在于，

第三步，進一步包括：通過計算和統計圖像局部區域的梯度方向直方圖構成HOG特征；在均勻間隔的單元密集網格上計算梯度方向的統計直方圖并進行歸一化處理；對直方圖統計量采用L2范數歸一化方法；對于每張深度時空圖，選取10*10像素的圖片單元分割圖像；每2*2個圖片單元構成一個圖像塊，以10像素為步長滑動圖像塊，生成每個圖像塊內各個圖像單元的梯度直方圖統計量；

對于每個圖像單元的梯度分布，按梯度方向分為8份，以梯度大小為權重生成直方圖統計量；

將三張深度時空圖的HOG特征連接形成最終的DSTM-HOG特征，并輸入分類器實現人體行為識別。

4.一種終端，其特征在于，所述終端至少搭載實現權利要求1～3任意一項所述基于深度時空圖的人體行為識別方法的控制器。

5.一種計算機可讀存儲介質，包括指令，當其在計算機上運行時，使得計算機執行如權利要求1-3任意一項所述的基于深度時空圖的人體行為識別方法。

6.一種實現權利要求1所述基于深度時空圖的人體行為識別方法的基于深度時空圖的人體行為識別系統，其特征在于，所述基于深度時空圖的人體行為識別系統包括：

運動部位深度信息獲得模塊，用于通過構建人體的3D面具獲取主要運動部位的深度信息；

DSTM生成模塊，用于將深度序列每一幀投影到三個正交的笛卡爾平面上，得到每個視角的2D地圖，再將2D地圖投影到行為空間的三個正交軸上，得到各個軸上的1D列表，將這些1D列表二值化處理后按時序拼接生成DSTM；

人體行為識別模塊，用于對每張DSTM提取HOG特征連接后送入分類器進行人體行為識別。

7.一種人體行為圖像數據處理設備，其特征在于，所述人體行為圖像數據處理設備至少搭載權利要求6所述的基于深度時空圖的人體行為識別系統。