[發明專利]一種基于時空分布圖的人體行為識別方法

有效

• 申請號: 201810344210.0
• 申請日: 2018-04-17
• 公開（公告）號: CN108564043B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 張良;劉婷婷;李玉鵬
• 申請（專利權）人: 中國民航大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/55
• 代理公司: 天津才智專利商標代理有限公司 12108
• 代理人: 龐學欣

1.一種基于時空分布圖的人體行為識別方法，其特征在于：所述的方法包括按順序進行的下列步驟：

(1)將每個人體動作樣本中已經提取前景的多幀深度圖像通過坐標映射得到每幀深度圖像的點云，然后將其填充到運動歷史點云中，直到遍歷完所有幀的深度圖像得到該動作的運動歷史點云，以記錄動作發生的空間與時間信息；

(2)將運動歷史點云直接投影到三個正交的笛卡爾坐標平面，分別是XOY平面、YOZ平面和XOZ平面，生成三個時空分布圖STDM，然后將運動歷史點云沿順時針和逆時針方向繞X軸、Y軸和Z軸中的任一軸旋轉θ度至少一次并投影到笛卡爾坐標系的XOY平面，每一次旋轉后投影生成至少兩個時空分布圖；

(3)從上述人體動作樣本的所有時空分布圖中提取出HOG特征向量，并進行串聯而組合成該人體動作樣本最終的HOG特征向量；

(4)選取所有人體動作樣本中的部分樣本為訓練樣本，剩余樣本為測試樣本，將訓練樣本的HOG特征向量輸入到基于高斯核函數的極限學習機分類器中進行訓練，然后將測試樣本得到的HOG特征向量輸入上述已訓練好的基于高斯核函數的極限學習機分類器中進行測試，得到分類結果。

2.根據權利要求1所述的基于時空分布圖的人體行為識別方法，其特征在于：在步驟(1)中，所述的將每個人體動作樣本中已經提取前景的多幀深度圖像通過坐標映射得到每幀深度圖像的點云，然后將其填充到運動歷史點云中，直到遍歷完所有幀的深度圖像得到該動作的運動歷史點云的方法是：將一個人體動作序列作為一個人體動作樣本，每個人體動作樣本中包含N幀深度圖像，將該人體動作樣本中已經提取前景的深度圖像從圖像坐標系映射到相機坐標系得到各自的點云，運動歷史點云是由每幀深度圖像得到的點云填充而生成。

3.根據權利要求1所述的基于時空分布圖的人體行為識別方法，其特征在于：在步驟(2)中，所述的將運動歷史點云直接投影到三個正交的笛卡爾坐標平面，分別是XOY平面、YOZ平面和XOZ平面，生成三個時空分布圖，然后將運動歷史點云沿順時針和逆時針方向繞X軸、Y軸和Z軸中的任一軸旋轉θ度至少一次并投影到笛卡爾坐標系的XOY平面，每一次旋轉后投影生成至少兩個時空分布圖的方法是：在生成時空分布圖的過程中需將x,y,z坐標值進行歸一化為某固定值后作為時空分布圖的坐標值；首先將運動歷史點云投影到笛卡爾坐標XOY平面上，根據投影后同一坐標下重疊點的分布情況，生成RGB圖像時空分布圖；其R通道是在當前坐標系下z坐標值不同點的個數，G通道是相鄰點的z坐標值進行差分運算并取絕對值疊加，B通道是相鄰點的幀號進行差分運算并取絕對值疊加；將運動歷史點云投影到YOZ平面和XOZ平面上生成時空分布圖的過程類似，只需將上述z坐標值相應地變成x坐標值和y坐標值即可，由此依次得到STDM_f、STDM_s、STDM_t；然后利用旋轉公式將運動歷史點云沿順時針和逆時針方向繞X軸、Y軸和Z軸中的任一軸旋轉θ度至少一次并投影到笛卡爾坐標系的XOY平面，每一次旋轉后投影生成至少兩個時空分布圖。

4.根據權利要求1所述的基于時空分布圖的人體行為識別方法，其特征在于：在步驟(3)中，所述的從上述人體動作樣本的所有時空分布圖中提取出HOG特征向量，并進行串聯而組合成該人體動作樣本最終的HOG特征向量的方法是：首先將一個時空分布圖分成若干塊，每一塊分成若干單元，每一單元包含若干像素點，然后按上式計算各像素點的水平方向梯度和垂直方向梯度；之后由像素點的水平方向梯度和垂直方向梯度計算出該像素點的梯度幅值和梯度方向；通過統計每一單元中像素點的梯度幅值和梯度方向分布情況，得到該單元內梯度直方圖，將每一塊中各單元的梯度直方圖歸一化，得到該塊的梯度直方圖，然后將所有塊的梯度直方圖進行串聯而得到該時空分布圖最后的HOG特征向量；最后采用特征層融合的方法，將一個運動歷史點云產生的所有時空分布圖的HOG特征向量進行串聯，組合生成該人體動作的HOG特征向量，用來進行分類識別。

5.根據權利要求1所述的基于時空分布圖的人體行為識別方法，其特征在于：在步驟(4)中，所述的選取所有人體動作樣本中的部分樣本為訓練樣本，剩余樣本為測試樣本，將訓練樣本的HOG特征向量輸入到基于高斯核函數的極限學習機分類器中進行訓練，然后將測試樣本得到的HOG特征向量輸入上述已訓練好的基于高斯核函數的極限學習機分類器中進行測試，得到分類結果的方法是：根據不同的驗證方法，采用留一交叉驗證或交叉驗證方法確定人體動作樣本中訓練樣本與測試樣本的比例；將經過步驟(3)得到的訓練樣本的HOG特征向量輸入到基于高斯核函數的極限學習機分類器中進行訓練，然后將經過步驟(3)得到的測試樣本的HOG特征向量輸入到上述已經訓練好的基于高斯核函數的極限學習機分類器中進行分類測試，基于高斯核函數的極限學習機分類器的輸出即為人體動作分類結果。