[發(fā)明專利]用于估計(jì)人體姿態(tài)的設(shè)備和方法

有效

• 申請?zhí)枺?/td>: 201310088425.8
• 申請日: 2013-03-19
• 公開（公告）號: CN104063677B
• 公開（公告）日: 2019-04-30
• 發(fā)明（設(shè)計(jì)）人: 胡芝蘭;陳茂林;宮魯津;孫迅;劉榮;張帆;金智淵
• 申請（專利權(quán)）人: 北京三星通信技術(shù)研究有限公司;三星電子株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京銘碩知識產(chǎn)權(quán)代理有限公司 11286
• 代理人: 羅延紅;常桂珍

1.一種用于估計(jì)人體姿態(tài)的設(shè)備，包括：

圖像獲取單元，用于獲取包括人體對象的深度圖像；

部位特征檢測單元，用于從獲取的深度圖像提取人體對象并檢測人體的各個(gè)候選部位及特征，對所述深度圖像進(jìn)行最小能量骨架掃描確定多個(gè)骨架點(diǎn)并構(gòu)建最小能量骨架掃描MESS骨架，并且通過各個(gè)候選部位的像素標(biāo)記結(jié)果以及深度分布構(gòu)建各候選部位的像素標(biāo)記PIXLA骨架；

部位產(chǎn)生單元，用于通過融合最小能量骨架掃描的結(jié)果以及像素標(biāo)記的結(jié)果來產(chǎn)生各個(gè)人體部位的部位假定；

姿態(tài)確定單元，用于將所述部位假定組裝成為至少一個(gè)姿態(tài)假定，根據(jù)姿態(tài)評價(jià)準(zhǔn)則對各個(gè)姿態(tài)假定進(jìn)行評價(jià)并確定人體姿態(tài)，

其中，針對任一候選部位，部位特征檢測單元根據(jù)所述候選部位中各個(gè)像素的像素標(biāo)記以及像素間的深度連續(xù)性確定所述部位的連續(xù)骨架點(diǎn)，以構(gòu)建所述部位的PIXLA骨架，

其中，姿態(tài)確定單元利用每個(gè)姿態(tài)假定的至少一個(gè)部位約束特征來評估每個(gè)姿態(tài)假定在預(yù)先定義的姿態(tài)類別之間的概率分布，將與評估后的所有姿態(tài)假定的概率分布中的最高概率值相應(yīng)的姿態(tài)假定確定為人體姿態(tài)。

2.如權(quán)利要求1所述的設(shè)備，其特征在于，部位產(chǎn)生單元自檢測的候選頭部產(chǎn)生假定頭部，并且根據(jù)軀干部位的信息以及產(chǎn)生的假定頭部中的像素的PIXLA置信度對所述假定頭部進(jìn)行評價(jià)。

3.如權(quán)利要求2所述的設(shè)備，其特征在于，部位產(chǎn)生單元通過融合最小能量骨架掃描的結(jié)果、像素標(biāo)記的結(jié)果以及檢測的候選頭部估計(jì)出軀干假定。

4.如權(quán)利要求3所述的設(shè)備，其特征在于，部位產(chǎn)生單元根據(jù)最小能量骨架掃描出的前景確定粗略軀干區(qū)域，估計(jì)2D軀干方向，基于像素標(biāo)記結(jié)果從粗略軀干區(qū)域去除非軀干像素，對粗略軀干區(qū)域執(zhí)行2D軀干建模，分別使用通過像素標(biāo)記檢測到的軀干上部/下部周圍的肩部/骨盆像素確定3D肩部和3D骨盆。

5.如權(quán)利要求4所述的設(shè)備，其特征在于，部位產(chǎn)生單元通過以下操作對粗略軀干區(qū)域執(zhí)行2D軀干建模：

基于頭部區(qū)域確定軀干頂部；

基于身體的質(zhì)心和腿部區(qū)域確定軀干底部；

通過根據(jù)軀干尺寸約束條件沿軀干的傾斜方向進(jìn)行投射確定軀干的左側(cè)邊界和右側(cè)邊界，

從粗略軀干區(qū)域確定最終的軀干區(qū)域。

6.如權(quán)利要求5所述的設(shè)備，其特征在于，部位產(chǎn)生單元還從獲取的深度圖像識別人體的復(fù)雜姿態(tài)，并且對所述復(fù)雜姿態(tài)涉及的候選部位重新進(jìn)行標(biāo)記。

7.如權(quán)利要求6所述的設(shè)備，其特征在于，所述復(fù)雜姿態(tài)包括腿部交叉和手臂上舉。

8.如權(quán)利要求7所述的設(shè)備，其特征在于，部位產(chǎn)生單元以互補(bǔ)方式使用MESS的結(jié)果、像素標(biāo)記的結(jié)果以及運(yùn)動區(qū)域產(chǎn)生少量肢體各部位的假定。

9.如權(quán)利要求8所述的設(shè)備，其特征在于，部位產(chǎn)生單元通過執(zhí)行以下操作產(chǎn)生左下臂假定：

當(dāng)檢測到左肘和左腕時(shí)，通過連接左臂和左腕(左手)產(chǎn)生左下臂假定；

當(dāng)檢測到左下臂和左腕時(shí)，通過連接左下臂和左腕產(chǎn)生左下臂假定；

當(dāng)檢測到左肘和左下臂時(shí)，通過連接左下臂和左肘產(chǎn)生左下臂假定；

通過從檢測的左下臂提取的PIXLA骨架產(chǎn)生左下臂假定；

從位于上身但不屬于頭部的MESS骨架產(chǎn)生左下臂假定；

當(dāng)沒有找到可靠的左下臂時(shí)，從軀干的運(yùn)動區(qū)域產(chǎn)生左下臂假定，其中，通過幀差檢測運(yùn)動區(qū)域；

從產(chǎn)生的多個(gè)左下臂假定當(dāng)中去除重疊的左下臂假定；

對產(chǎn)生的各個(gè)左下臂假定加權(quán)，并且去除權(quán)值低的左下臂假定，其中，根據(jù)落入所述左下臂假定的前景區(qū)域的像素的個(gè)數(shù)以及這些像素屬于左下臂的概率確定所述左下臂假定的權(quán)值，

其中，部位產(chǎn)生單元執(zhí)行類似操作以產(chǎn)生右臂、左腿和右腿部位的假定。

10.如權(quán)利要求8所述的設(shè)備，其特征在于，部位產(chǎn)生單元還根據(jù)不同部位之間的關(guān)系去除不合理的部位假定，以精選部位假定。