[發明專利]一種基于運動歷史圖與R變換的人體行為識別方法

有效

• 申請號: 201410106957.4
• 申請日: 2014-03-21
• 公開（公告）號: CN103886293B
• 公開（公告）日: 2017-04-26
• 發明（設計）人: 肖俊;李潘;莊越挺
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 杭州求是專利事務所有限公司33200
• 代理人: 杜軍

1.一種基于運動歷史圖與R變換的人體行為識別方法，其特征在于該方法包括離線訓練階段和在線識別階段，具體步驟如下：

步驟(1).離線訓練階段：

步驟1-1.將待訓練的深度視頻S切割為時間長度相同的多個深度視頻片段，然后按照各個深度視頻片段的不同行為類別打上不同的行為標記，由此獲得了人體行為識別的訓練集T；

所述的訓練集T為不同的行為標記的各深度視頻片段的集合；

步驟1-2.運用“前景分割技術”獲得各個深度視頻片段中人體行為運動的最小包圍矩，并將深度視頻片段中最小包圍矩限定的視頻內容縮放到統一大小；

所述的“前景分割技術”操作如下：

a)對于訓練集T給定的一個深度視頻片段V，它由若干幀深度圖{P₁,P₂,...,P_i}構成，其中i表示第i幀深度圖；對于其中任意一張深度圖P_i,將P_i中像素點根據像素點位置的深度值進行k-means二值聚類，得到前景像素集合與背景像素集合；所述的前景像素比背景像素的平均深度值小；

b)在深度圖P_i上找出一個矩形框R_i，使得步驟a)得到的所有前景像素均包括在這個矩形框R_i內，R_i由和構成，其中和分別表示R_i的左邊界、右邊界、上邊界和下邊界的像素坐標；然后將矩形框R_i按照橫向分為等寬的兩部分，若矩形框R_i的左半部分像素點個數比右半部分多，且若向左移動K個像素后新的矩形框內的像素點個數大于最原始矩形框R_i內個數的η﹪，其中K為常數，且為偶數，50<η<100,則將向左調整K個像素，若移動邊界之后新矩形框內的像素點個數小于最原始矩形框R_i內像素點個數的η﹪，則右邊界調整完成；若矩形框R_i的右半部分的像素點比左半部分多，且將向右移動K個像素后矩形框內的像素點個數大于最原始矩形框R_i內個數的η﹪,則將向右調整K個像素，若移動邊界之后新矩形框內的像素點個數小于最原始矩形框R_i中像素點個數的η﹪，則左邊界調整完成；若矩形框R_i的左右兩半部分像素點中像素個數相差不超過ε，ε為閾值參數,則判斷將左右邊界同時向中心靠攏K/2個像素時新矩形框內剩余的像素點個數是否大于原始矩形框R_i內全部像素的η﹪，如果成立，則將矩形框R_i按照左右邊界各收攏K/2個像素進行調整，之后重復步驟b),直至新矩形框內剩余的像素點個數小于原始矩形框R_i內全部像素的η﹪；采用上述同樣的方法對矩形框R_i的上下邊界進行調整；

c)深度視頻片段V是由橫坐標x，縱坐標y和時間坐標t三個維度描述的三維空間體，此三維空間體經過步驟b)調整后，深度視頻片段V中任意一幀P_i的前景像素被分割出來,該前景像素范圍由R_i進行描述；設深度視頻S中人體行為的最小包圍矩R的四個上邊界R^up、下邊界R^down、左邊界R^left和右邊界R^right分別用按照公式(1)計算：

步驟1-3.深度視頻片段V中從時刻j開始任意時間窗口長度為τ的一段子序列S_j，可以求出一張運動歷史圖其計算方式如下：

其中，I(x,y,t)表示深度視頻在t時刻在像素點(x,y)位置的捕獲的深度值；t的范圍為[j,j+τ-1]；δI_th為常數閾值，j、τ為自然數；

取三個任意時間窗口長度τ^s、τ^m、τ^l，求出相對應的運動歷史圖其中s,m,l均為自然數，m＝2s,l＝4s，且s正比于深度視頻片段V的時間長度；

經過步驟1-3的處理，深度視頻片段轉換為運動歷史圖序列，記得到的三個時間窗口長度運動歷史圖在時間維度的延伸構成的深度視頻片段V的運動歷史圖序列表示為MHIs^O，其中o＝s,m,l；

步驟1-4.對于步驟1-3中獲得的任意一個運動歷史圖序列MHIs^O,設H^O(x,y,t)表示運動歷史圖序列MHIs^O中第t幀像素點(x,y)位置的強度；依據運動歷史圖序列MHIs^O計算如下能量圖D°,其中D°中各個位置(x,y)的值D°(x,y)計算方法見公式(3)：

其中，μ(θ)為單位階躍函數，當θ≥0時μ(θ)為1，當θ＜0時μ(θ)為0；ε為閾值常數；N為深度視頻片段V的時間長度；

步驟1-5.對獲得的能量圖D°，求其R變換，計算R變換，得到深度視頻片段V的行為特征具體如下：

首先計算能量圖D°的Radon變換，計算方法見公式(4)：

然后，對θ方向全方向進行積分，得到R變換，計算方式如公式(5)：

對進行歸一化處理，即x∈[0°,180°)；將拼接形成深度視頻片段V的行為特征

步驟1-6.根據深度視頻片段V的行為特征與步驟1-1得到的深度視頻片段的行為標記，采用支持向量機訓練出識別模型M；

步驟(2).在線識別階段：

步驟2-1.與離線訓練階段操作步驟1-1～1-6相同的方法對待識別視頻提取待識別視頻的行為特征；

所述的在線識別階段識別粒度與離線訓練階段訓練時保持一致；

步驟2-2.基于待識別視頻的行為特征，根據訓練出來的模型M利用支持向量機對待識別視頻進行行為識別。