[發明專利]一種基于RGB?D視頻的人體行為識別方法

有效

• 申請號: 201510051252.1
• 申請日: 2015-01-30
• 公開（公告）號: CN104598890B
• 公開（公告）日: 2017-07-28
• 發明（設計）人: 陳克虎;劉天亮
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 南京經緯專利商標代理有限公司32200
• 代理人: 楊楠

技術領域

本發明涉及一種人體行為識別方法，尤其涉及一種基于RGB-D視頻的人體行為識別方法，屬于計算機視覺的行為識別技術領域。

背景技術

人體行為識別可以在很多方面應用，比如智能監控、人機交互和體育視頻處理。基于輸入的視頻數據，人體行為識別方法可以分為三類，包括：基于RGB視頻數據的方法、基于深度視頻數據的方法以及基于兩種數據相結合的方法。

由于深度傳感器能夠獲取更加豐富的外觀和結構信息，所以深度攝像機在計算機視覺領域越來越受到廣泛的關注。近年來，越來越多的公司開發出了RGB-D攝像機，該類設備的特點是能夠實時的提供RGB圖像和深度圖像，比如2010年微軟發布了能夠實時采集RGB-D圖像的攝像頭(即Kinect)；2011年華碩發布了Xtion PRO；2013年體感控制器制造公司Leap發布的Leap Motion。

RGB-D視頻相比于RGB視頻具有幾個優點。首先，他們提供了額外的身體外形和結構信息，這些信息已經成功的應用在從單幅深度圖中獲取骨架節點信息和稠密點云結構信息；其次，在深度圖中去除掉了色彩和紋理信息，這使得人體檢測和分割更容易；第三，深度傳感器對光照變化不敏感，這使得在黑暗環境下的監視設備帶來了好處。

設計基于RGB-D視頻的有效特征在很多計算機視覺問題中仍然是很重要的研究問題。很多現有的人體行為識別技術[Cheng,Qin,Ye,Huang,Tian.Human daily action analysis with multi-view and color-depth data.Computer Vision–ECCV 2012.Workshops and Demonstrations,52-61:Springer,2012.]將深度序列以和彩色視頻相同的方法來處理，采用基于色彩的識別方法。然而，雖然這些方法適用于彩色視頻序列，將它們簡單地推廣到深度視頻序列可能不會產生最優的結果[Oreifej,Liu.Hon4d:Histogram of oriented 4d normals for activity recognition from depth sequences.Computer Vision and Pattern Recognition(CVPR),2013IEEE Conference on,716-723:IEEE,2013.]。由深度攝像機獲得的信息也可以采用幾何特征來提取更豐富的特征描述子。例如，[Tang et al.Histogram of oriented normal vectors for object recognition with a depth sensor.Computer Vision–ACCV2012,525-538:Springer,2013.]采用法線向量直方圖用于深度圖像的目標檢測。給定一個深度圖像，他們計算相對應的空間導數，將其轉換到極坐標，并且采用它們的2D直方圖作為目標描述子。最近，[Oreifej,Liu.Hon4d:Histogram of oriented 4d normals for activity recognition from depth sequences.Computer Vision and Pattern Recognition(CVPR),2013IEEE Conference on,716-723:IEEE,2013.]通過增加時間導數將相同的技術擴展到時間維度。將深度視頻序列以這種方式進行處理的缺點是深度圖像中的噪聲在這種微分操作過程中被過于放大。