[發明專利]一種基于運動歷史圖與R變換的人體行為識別方法

有效

• 申請號: 201410106957.4
• 申請日: 2014-03-21
• 公開（公告）號: CN103886293B
• 公開（公告）日: 2017-04-26
• 發明（設計）人: 肖俊;李潘;莊越挺
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 杭州求是專利事務所有限公司33200
• 代理人: 杜軍

技術領域

本發明涉及計算機視覺和圖像處理領域，尤其涉及一種基于運動歷史圖與R變換的人體行為識別方法。

背景技術

視頻監控是當今視覺領域研究的熱點與重點問題，在安防領域和人機交互等領域，源源不斷地產生著數量眾多的視頻數據，這些數據動輒以G的單位來衡量，僅憑人工判別無疑會耗費巨大的人力.視頻內容豐富，大部分時候我們僅關注視頻中的某些部分，比如說人體行為，如果能夠自動高效地進行識別，將解放大量的人力。當前的行為識別研究成果主要集中于RGB視頻的行為識別研究上。

RGB視頻是視頻最常見的一種形式，來源廣泛，多年來有較多研究成果，目前基于RGB視頻的行為識別方法主要分為時空分析方法（Space-timeapproach）、序列分析方法（Sequential approach）及層次化分析方法（Hierarchical approach）三大類。經過多年的發展，基于RGB視頻的人體行為識別方面的研究瓶頸日益凸顯，原因是RGB視頻作為人體行為識別的數據源時背景干擾難以去除。更重要的事，RGB視頻僅利用了二維平面信息，用二維信息來描述三維人體行為顯然損失了很多關鍵信息。

隨著技術的進步，近年來出現了一種廉價的配有深度傳感器的攝像頭—Kinect。微軟的這款Kinect攝像頭能在獲取正常的RGB圖像的同時，獲取質量可以接受的深度信息。攝像頭中已經集成了骨骼學習的算法，能夠獲取三維場景中正常人體的骨骼信息。目前深度圖的特征提取主要還是在借鑒以往在RGB上提取特征的經驗。與此同時，不少公共數據集已經提出，極大地方便了深度圖上特征提取的研究。Zicheng Liu等人提出了基于三維數據輪廓(A bag of3D words)的方法，他將深度圖看作為三維數據，然后在笛卡爾空間內從上、左和前三個方向投影并得到投影輪廓，這之后在投影輪廓上下采樣出固定個數的點作為特征，得出的特征置入Action Graph模型中進行識別。Bingbing Ni獨立采集了一個稱之為RGBD-HuDaAct的深度數據集，并首次將3D-MHIs的思想用在了深度圖序列特征提取上。這些方法都有各自的局限性：A bag of3D words的方法識別準確率較高，但由于需要在人體輪廓上均勻采樣，要求得到的深度數據十分純凈，無法在實際場景的人體行為識別中運用；直接應用3D-MHIs的方法速度夠快，但是識別準確率不夠；DMM-HOG在保證識別準確率的同時對復雜背景的行為識別也比較有效，但是該方法太過耗時，無法實現實時人體行為識別。

發明內容

本發明針對現有技術的不足，提出了一種基于運動歷史圖與R變換的人體行為識別方法。該方法使用深度視頻作為識別依據，將運動歷史圖和R變換的概念應用到了行為特征提取過程之中，并利用支持向量機的方法進行行為識別的訓練和識別過程。

該方法包括離線訓練階段和在線識別階段，具體步驟如下：

步驟(1).離線訓練階段

所述的離線訓練階段目的是獲得一個人體行為識別模型，其步驟如下：

步驟1-1.將待訓練的深度視頻S切割為時間長度相同的多個深度視頻片段，然后按照各個深度視頻片段的不同行為類別打上不同的行為標記，由此獲得了人體行為識別的訓練集T。

所述的訓練集T為不同的行為標記的各深度視頻片段的集合；

所述的時間長度為在線識別階段定義的待識別視頻片段的時間長度；

步驟1-2.運用“前景分割技術”獲得各個深度視頻片段中人體行為運動的最小包圍矩，并將深度視頻片段中最小包圍矩限定的視頻內容縮放到統一大小。

所述的“前景分割技術”操作如下：

a)對于訓練集T給定的一個深度視頻片段V，它由若干幀深度圖{P₁,P₂,...,P_i}構成，其中i表示第i幀深度圖；對于其中任意一張深度圖P_i,將P_i中像素點根據像素點位置的深度值進行k-means二值聚類，得到前景像素集合與背景像素集合；所述的前景像素比背景像素的平均深度值小。