[發明專利]人體姿態識別方法和裝置

有效

• 申請號: 200910161452.7
• 申請日: 2009-07-31
• 公開（公告）號: CN101989326A
• 公開（公告）日: 2011-03-23
• 發明（設計）人: 楚汝峰;陳茂林
• 申請（專利權）人: 三星電子株式會社;北京三星通信技術研究有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 郭鴻禧;楊靜

技術領域

本發明總體上涉及計算機視覺，更具體地講，涉及實時人體姿態識別和運動分析的估計。

背景技術

人體運動分析和人體姿態識別是非常重要的技術，該技術使用有意義的人體姿態，以有助于實現人機交互、虛擬三維(3D)交互游戲、3D姿勢識別等。近年來，由于其具有前景的學術價值和商業價值，人體運動捕獲研究受到了越來越多的關注。

目前存在用于人體運動分析的多種方案。一些方案需要在對象上貼上特定的標記塊或需要特定的運動捕獲設備，在一般的環境中(諸如家庭娛樂、3D交互游戲等)，上述需要對于用戶是不方便的，并且限制了這些方案的應用。對于一些實際的應用，已經作出很大的努力來使得用于人體運動分析的標記更少。現有的方法主要劃分為兩類，即，基于人體部位分析的方法和基于樣本的方法。另一方面，現有的方法還可分為基于彩色圖像的方法以及3D激光掃描人體模型輔助方法。

眾所周知，彩色圖像只能提供二維(2D)信息，諸如顏色、紋理、形狀等。因此，不可避免地會導致2D信息中的姿態不確定問題。例如，如果人體的一些部位是自遮擋的(self-occlusion)，則由于彩色圖像中的人體姿態的不確定性，將不能使用基于彩色圖像的方法進行正確的人體姿態識別。即使使用了更為先進的姿態推斷方法，姿態不確定性的顏色信息也會導致低處理速度和不準確的姿態推斷結果。另外，根據不同的季節、人的服飾和環境光照變化，顏色信息是不穩定的(或者是不魯棒的)，因此，在復雜的環境中，基于顏色信息的人體姿態識別方法是不能滿足要求的。因此，一些研究人員和工程師使用激光掃描的3D模型來獲得更精確的結果。然而，由于捕獲裝置的高成本和大體積，激光掃描儀在真實的環境(諸如家庭娛樂、3D交互游戲等)中不實用。為了解決該問題，需要一種在雜亂的環境中進行實時人體姿態識別的方法和裝置。

發明內容

本發明仍然集中于無需標記塊的人體姿態識別或者人體運動分析。但是，在本發明中，通過新的方式來解決現有技術中的問題。首先，本發明采用組合的TOF深度攝像機(可同時提供深度圖像和強度圖像)以及彩色攝像機(提供彩色圖像)。其次，本發明提供一種在復雜環境中識別人體姿態的方法和裝置，該方法和裝置可有效利用深度信息和顏色信息來進行人體姿態識別。

根據本發明的一方面，提供一種人體姿態識別裝置，該裝置包括：輸入模塊，包括深度攝像機和彩色攝像機，用于同時捕獲人體姿態，形成輸入圖像；預處理模塊，將輸入圖像預處理為適合的格式，并將圖像歸一化為固定大小，產生形狀獨立的姿態采樣，形成采樣數據；訓練模塊，在訓練階段使用統計學習方法進行采樣數據的維度降低，以獲得原始圖像空間到特征空間的投影變換矩陣，并構建最近鄰分類器；特征提取模塊，根據所述投影變換矩陣分別在訓練階段和人體姿態識別階段從采樣數據提取有區別的姿態特征；模板數據庫構建模塊，根據特征提取模塊在訓練階段中提取的有區別的姿態特征構建姿態模板數據庫；搜索模塊，通過最近鄰分類器將特征提取模塊在人體姿態識別階段中提取的有區別的姿態特征與姿態模板數據庫中的姿態模板比較，以進行人體姿態匹配；輸出模塊，輸出最佳匹配的姿態，并基于最佳匹配的姿態重新定位虛擬人體模型。

根據本發明的另一方面，提供一種人體姿態識別方法，該方法包括：(a)利用深度攝像機和彩色攝像機同時捕獲人體姿態，形成輸入圖像；(b)將輸入圖像預處理為適合的格式，并將圖像歸一化為固定大小，產生形狀獨立的姿態采樣，形成采樣數據；(c)在訓練階段使用統計學習方法進行采樣數據的維度降低，以獲得原始圖像空間到特征空間的投影變換矩陣，并構建最近鄰分類器；(d)根據所述投影變換矩陣分別在訓練階段和人體姿態識別階段從采樣數據提取有區別的姿態特征；(e)根據在訓練階段中提取的有區別的姿態特征構建姿態模板數據庫；(f)通過最近鄰分類器將在人體姿態識別階段中提取的有區別的姿態特征與姿態模板數據庫中的姿態模板比較，以進行人體姿態匹配；(g)輸出最佳匹配的姿態，并基于最佳匹配的姿態重新定位虛擬人體模型。

附圖說明

通過結合附圖，從下面的實施例的描述中，本發明這些和/或其它方面及優點將會變得清楚，并且更易于理解，其中：

圖1是根據本發明實施例的人體姿態識別裝置的框圖；

圖2示出了根據本發明實施例的輸入模塊捕獲的采樣圖像；

圖3是根據本發明實施例的人體姿態識別方法的流程圖；

圖4示出了根據本發明實施例的預處理模塊的圖像預處理過程；

圖5示出了根據本發明實施例的定位肩部點的示例；