[發明專利]一種基于局部曲面幾何特征的人體動作識別方法

在審

• 申請號: 201611092585.X
• 申請日: 2016-12-01
• 公開（公告）號: CN106599806A
• 公開（公告）日: 2017-04-26
• 發明（設計）人: 陳萬軍;張二虎
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 西安弘理專利事務所61214
• 代理人: 常娥

技術領域

本發明屬于數字圖像處理技術領域，具體涉及一種基于局部曲面幾何特征的人體動作識別方法。

背景技術

人體動作識別的目的是通過計算機算法自動的將從RGB相機或其它傳感器設備采集的人體動作時序序列數據轉換為相應的動作語義信息。人體動作的理解與識別對許多人工智能系統來說是至關重要的，并廣泛的應用于智能視頻監控、人機交互、視頻分析與檢索，以及機器人等領域中。

最近，傳感器技術的進步為我們帶來了低廉的高清晰的深度相機，例如微軟公司的Kinect和華碩公司的Xtion PRO LIVE。深度相機利用結構光實時地感知世界并形成深度映射圖像。深度映射圖像中的每個像素記錄著場景的深度值，與普通的RGB圖像中像素所表示的入射光強度值截然不同。深度相機的引入能夠極大的拓展計算機系統感知三維世界并提取低層視覺信息的能力，并在計算機視覺領域中受到越來越廣泛的應用。深度相機較傳統RGB相機在人體動作識別方面具有無可比擬的優勢，即它不受光照條件的影響，具有顏色與紋理不變性，同時，深度相機能夠通過OpenNI算法來實時估計人體的骨架關節點位置，以此可作為人體的姿態信息來進行精確的人體動作識別。

目前的人體動作識別方法主要是基于RGB圖像數據或深度傳感器采集的深度數據。盡管RGB相機能夠捕捉豐富的顏色與紋理信息，這對于圖像處理來說至關重要，但是其具有固有的缺陷：對光線、視角等的變化異常敏感。從而使得前景運動目標與背景混雜在一起，導致運動目標的提取工作變得異常困難。另外，由于RGB相機在對3D場景成像過程中丟失了重要的深度或距離信息，直接從RGB圖像序列中捕捉3D人體動作運動也是一件異常棘手的事情。但是，由于人體運動是在3D空間中進行的，因此，3D信息在人體動作識別中具有舉足輕重的作用。相比較于傳統的基于RGB的方法，當前基于深度相機的方法能夠利用骨骼關節點獲取人體動作的姿態信息，同時利用深度映射圖像來提供更豐富的有關動作的形狀和運動信息。因此對動作具有更強的描述與判別能力，從而進一步提升了動作識別的精度。但較深度映射圖像而言，點云數據具有更強的3D幾何結構信息。

發明內容

本發明的目的是提供一種基于局部曲面幾何特征的人體動作識別方法，解決了現有基于深度相機的人體動作特征提取算法中單一依賴于骨骼關節點或深度映射圖像而使得特征描述能力差和判別能力弱，最終導致識別率低的問題。

本發明所采用的技術方案是，一種基于局部曲面幾何特征的人體動作識別方法，具體按照以下步驟實施：

步驟1、讀入深度映射圖像與骨架關節點數據以及相機的內部參數，以深度映射圖像序列和相機內部參數重構人體動作的3D點云數據；

步驟2、在每幀圖像上以每個骨架關節點為錨點，在其局部鄰域的點云數據空間中提取9維的局部曲面幾何特征；

步驟3、采用時間金字塔協方差矩陣來建模特定時間窗口內的局部曲面幾何特征間的相關性與時間演化過程；

步驟4、對協方差矩陣向量化，最后得到一個N＝9M維的特征描述子，M為人體關節點的個數。

本發明的特點還在于，

步驟1的具體實施步驟為：

步驟1.1、讀入深度映射圖像序列和骨架關節點數據以及相機的內部參數

在深度映射圖像中位置(i,j)處的深度值為I(i,j)，深度映射圖像的寬度與高度分別為W和H；骨架關節點的坐標為q＝(q_x,q_y,q_z)；fov_h和fov_v分別為相機內部參數中的水平視場與垂直視場；

步驟1.2、重構人體動作的3D點云數據，即計算深度圖像中每個點所對應的3D點云坐標p＝(p_x,p_y,p_z)

步驟2中的局部曲面幾何特征：

f＝(q_x,q_y,q_z,n_x,n_y,n_z,μ,ν,κ)^T

其中，(q_x,q_y,q_z)為關節點的3D位置，(n_x,n_y,n_z)為關節點處的法向量，(μ,ν)為關節點處的主曲率，κ為高斯曲率。