[發明專利]一種基于Kinect三維骨架模型的肢體動作識別方法

有效

• 申請號: 201710315125.7
• 申請日: 2017-05-08
• 公開（公告）號: CN107301370B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 馬世偉;芮玲;王建國;陳光化
• 申請（專利權）人: 上海大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 陸聰明

本發明涉及一種基于Kinect三維骨架模型的肢體動作識別方法，利用Kinect攝像頭采集肢體動作的骨架數據流，包含了人體骨架關節點在三維空間中的坐標信息，對骨架數據流中的數據進行預處理，提取骨架關節角描述符作為肢體動作的特征數據，將特征數據分類并采用隨機森林分離器進行肢體動作識別。本發明采用Kinect采集肢體運動的三維骨架數據，不受環境和光照的影響，利用Kinect骨架追蹤的特點，解決了部分自遮擋的問題；采用數據預處理使得特征具有尺度不變性、平移不變性和視角無關性；采用關節角描述符特征，通過選取主要關節點去除了動作描述中的冗余數據，可以有效降低數據維度，使得特征提取更為有效。

技術領域

本發明涉及視頻圖像中人體動作特征提取和分類技術領域，具體涉及一種基于Kinect三維骨架模型的肢體動作識別方法。

背景技術

基于計算機視覺和圖像處理的人體肢體動作特征提取和分類技術，通常利用攝像頭及傳感器捕獲的人體運動信息，通過動作特征描述、特征提取和動作分類等模式識別和機器學習方法來實現。這一技術在視頻監控、人機交互、運動分析、虛擬現實和機器人等領域具有廣泛的應用價值。現有的人體動作數據獲取手段有兩大類：一是通過可穿戴設備，雖然精度較高，但是由于其價格昂貴且穿戴不便影響人的運動，其應用受到了很大限制；二是利用普通攝像頭，不影響人體運動，簡單易行且成本低，但是獲得的二維圖像容易受到光照、紋理等環境噪聲的干擾，難以取得有效的動作識別效果。另外，由于人類肢體動作可以看作是高度復雜的非鋼體運動，呈現出復雜的動作特征，而不同人體的體型和動作習慣等差異，也導致不同人體做同種動作也會有明顯的差異，這些都造成肢體動作識別技術的復雜性。

骨架模型是基于形態學特征的表示方法，利用了人體本身的結構特性，使得特征的選取具有更明確的物理意義，動作數據維度遠遠小于非模型的數據維度。由于三維運動圖像包含了人體在三維空間運動的信息，而且不受光照、紋理等環境因素的影響，可以為肢體動作識別方法提供了更有效的數據信息。目前流行的Kinect攝像頭可以同時捕獲RGB彩色圖像和場景深度信息，它提供的人體三維骨架模型可以給出骨架關節點的三維空間坐標數據。因此，采用基于Kinect三維骨架模型的人類肢體動作識別技術，結合了骨架模型與三維圖像數據的優勢，具有更好的魯棒性。

發明內容

本發明提出了一種基于Kinect三維骨架模型的肢體動作識別方法，用于對視頻圖像中人體活動時的肢體動作進行特征提取和分類識別。該方法是實現智能視頻監控、人機交互、運動分析、虛擬現實和智能機器人等技術的基礎。

為達到上述目的，本發明的構思是：

針對三維骨架序列動作，設計一種關節角描述符特征，串聯三個投影平面的關節角描述符以有效降低數據維度。在特征提取前對原始數據進行預處理，使得特征具有尺度不變性、平移不變性和視角無關性，并使用時間金字塔模型捕獲動作的時序性，使得特征能夠有效描述原始動作序列的時間和空間特性。最后對提取的特征使用隨機森林分類器進行分類以達到肢體動作識別的目的。

根據上述構思，本發明采用如下技術方案：

一種基于Kinect三維骨架模型的肢體動作識別方法，利用Kinect攝像頭采集肢體動作的骨架數據流，包含了人體骨架關節點在三維空間中的坐標信息，對骨架數據流中的數據進行預處理，提取骨架關節角描述符作為肢體動作的特征數據，將特征數據分類并采用隨機森林分離器進行肢體動作識別。

所述數據預處理包括以下三個主要步驟：