[發(fā)明專利]人體姿態(tài)識別方法和裝置

有效

• 申請?zhí)枺?/td>: 200910161452.7
• 申請日: 2009-07-31
• 公開（公告）號: CN101989326A
• 公開（公告）日: 2011-03-23
• 發(fā)明（設(shè)計）人: 楚汝峰;陳茂林
• 申請（專利權(quán)）人: 三星電子株式會社;北京三星通信技術(shù)研究有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京銘碩知識產(chǎn)權(quán)代理有限公司 11286
• 代理人: 郭鴻禧;楊靜

1.一種人體姿態(tài)識別裝置，包括：

輸入模塊，包括深度攝像機(jī)和彩色攝像機(jī)，用于同時捕獲人體姿態(tài)，形成輸入圖像；

預(yù)處理模塊，將輸入圖像預(yù)處理為適合的格式，并將圖像歸一化為固定大小，產(chǎn)生形狀獨(dú)立的姿態(tài)采樣，形成采樣數(shù)據(jù)；

訓(xùn)練模塊，在訓(xùn)練階段使用統(tǒng)計學(xué)習(xí)方法進(jìn)行采樣數(shù)據(jù)的維度降低，以獲得原始圖像空間到特征空間的投影變換矩陣，并構(gòu)建最近鄰分類器；

特征提取模塊，根據(jù)所述投影變換矩陣分別在訓(xùn)練階段和人體姿態(tài)識別階段從采樣數(shù)據(jù)提取有區(qū)別的姿態(tài)特征；

模板數(shù)據(jù)庫構(gòu)建模塊，根據(jù)特征提取模塊在訓(xùn)練階段中提取的有區(qū)別的姿態(tài)特征構(gòu)建姿態(tài)模板數(shù)據(jù)庫；

搜索模塊，通過最近鄰分類器將特征提取模塊在人體姿態(tài)識別階段中提取的有區(qū)別的姿態(tài)特征與姿態(tài)模板數(shù)據(jù)庫中的姿態(tài)模板比較，以進(jìn)行人體姿態(tài)匹配；

輸出模塊，輸出最佳匹配的姿態(tài)，并基于最佳匹配的姿態(tài)重新定位虛擬人體模型。

2.根據(jù)權(quán)利要求1所述的人體姿態(tài)識別裝置，其中，深度攝像機(jī)形成人體姿態(tài)的深度圖像和強(qiáng)度圖像，彩色攝像機(jī)形成人體姿態(tài)的彩色圖像。

3.根據(jù)權(quán)利要求2所述的人體姿態(tài)識別裝置，其中，預(yù)處理模塊使用強(qiáng)度圖像對人體姿態(tài)進(jìn)行分割并提取剪影，使用分割的人體區(qū)域檢測頭部和軀干，選擇眼部位置和肩部位置作為參考點(diǎn)進(jìn)行形狀歸一化處理，產(chǎn)生形狀獨(dú)立的姿態(tài)采樣。

4.根據(jù)權(quán)利要求3所述的人體姿態(tài)識別裝置，其中，訓(xùn)練模塊創(chuàng)建訓(xùn)練數(shù)據(jù)集，使得姿態(tài)采樣均勻分布在圖像空間中，將采樣數(shù)據(jù)變換為輸入矢量，采用統(tǒng)計學(xué)習(xí)方法來進(jìn)行采樣數(shù)據(jù)的維度降低，以獲得所述投影變換矩陣。

5.根據(jù)權(quán)利要求4所述的人體姿態(tài)識別裝置，其中，所述統(tǒng)計學(xué)習(xí)方法包括主元分析方法或局部線性嵌入方法。

6.根據(jù)權(quán)利要求5所述的人體姿態(tài)識別裝置，其中，模板數(shù)據(jù)庫構(gòu)建模塊選擇不同的姿態(tài)采樣，對姿態(tài)采樣圖像進(jìn)行人工標(biāo)注；特征提取模塊根據(jù)所述投影變換矩陣從姿態(tài)采樣中提取低維度的有區(qū)別的特征；模板數(shù)據(jù)庫構(gòu)建模塊基于提取的有區(qū)別的特征建立所述區(qū)別特征與姿態(tài)之間的對應(yīng)關(guān)系，并基于建立的對應(yīng)關(guān)系產(chǎn)生包括特征矢量和相關(guān)聯(lián)的姿態(tài)索引的模板，以構(gòu)建模板數(shù)據(jù)庫。

7.根據(jù)權(quán)利要求6所述的人體姿態(tài)識別裝置，其中，特征提取模塊將輸入圖像的深度數(shù)據(jù)變換為一維數(shù)據(jù)矢量，使用在訓(xùn)練階段中獲得的投影變換矩陣將來自圖像空間的數(shù)據(jù)投影到特征空間，以獲得特征矢量。

8.根據(jù)權(quán)利要求7所述的人體姿態(tài)識別裝置，其中，搜索模塊通過最近鄰分類器計算當(dāng)前的特征矢量與模板數(shù)據(jù)庫中的特征矢量之間的距離，基于所述距離在模板數(shù)據(jù)庫中獲得最佳匹配的索引。

9.根據(jù)權(quán)利要求8所述的人體姿態(tài)識別裝置，其中，輸出模塊根據(jù)最佳匹配的索引在模板數(shù)據(jù)庫中獲得最佳匹配的姿態(tài)，并基于最佳匹配的姿態(tài)重新定位虛擬人體模型。

10.一種人體姿態(tài)識別方法，包括以下步驟：

(a)利用深度攝像機(jī)和彩色攝像機(jī)同時捕獲人體姿態(tài)，形成輸入圖像；

(b)將輸入圖像預(yù)處理為適合的格式，并將圖像歸一化為固定大小，產(chǎn)生形狀獨(dú)立的姿態(tài)采樣，形成采樣數(shù)據(jù)；

(c)在訓(xùn)練階段使用統(tǒng)計學(xué)習(xí)方法進(jìn)行采樣數(shù)據(jù)的維度降低，以獲得原始圖像空間到特征空間的投影變換矩陣，并構(gòu)建最近鄰分類器；

(d)根據(jù)所述投影變換矩陣分別在訓(xùn)練階段和人體姿態(tài)識別階段從采樣數(shù)據(jù)提取有區(qū)別的姿態(tài)特征；

(e)根據(jù)在訓(xùn)練階段中提取的有區(qū)別的姿態(tài)特征構(gòu)建姿態(tài)模板數(shù)據(jù)庫；

(f)通過最近鄰分類器將在人體姿態(tài)識別階段中提取的有區(qū)別的姿態(tài)特征與姿態(tài)模板數(shù)據(jù)庫中的姿態(tài)模板比較，以進(jìn)行人體姿態(tài)匹配；

(g)輸出最佳匹配的姿態(tài)，并基于最佳匹配的姿態(tài)重新定位虛擬人體模型。

11.根據(jù)權(quán)利要求10所述的人體姿態(tài)識別方法，其中，深度攝像機(jī)形成人體姿態(tài)的深度圖像和強(qiáng)度圖像，彩色攝像機(jī)形成人體姿態(tài)的彩色圖像。

12.根據(jù)權(quán)利要求11所述的人體姿態(tài)識別方法，其中，步驟(b)包括：

使用強(qiáng)度圖像對人體姿態(tài)進(jìn)行分割并提取剪影；

使用分割后的人體區(qū)域檢測頭部和軀干，

選擇眼部位置和肩部位置作為參考點(diǎn)進(jìn)行形狀歸一化處理，產(chǎn)生形狀獨(dú)立的姿態(tài)采樣。