[發明專利]用于估計人體姿態的設備和方法

有效

• 申請號: 201310088425.8
• 申請日: 2013-03-19
• 公開（公告）號: CN104063677B
• 公開（公告）日: 2019-04-30
• 發明（設計）人: 胡芝蘭;陳茂林;宮魯津;孫迅;劉榮;張帆;金智淵
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 羅延紅;常桂珍

提供一種用于估計人體姿態的設備和方法。一種用于估計人體姿態的設備包括：圖像獲取單元，用于獲取包括人體對象的深度圖像；部位特征檢測單元，用于從獲取的深度圖像提取人體對象并檢測人體的各個候選部位及特征，對所述深度圖像進行最小能量骨架掃描確定多個骨架點并構建MESS骨架，并且通過各個候選部位的像素標記結果以及深度分布構建各候選部位的PIXLA骨架；部位產生單元，用于通過融合最小能量骨架掃描的結果以及像素標記的結果來產生各個人體部位的部位假定；姿態確定單元，用于將所述部位假定組裝成為至少一個姿態假定，根據姿態評價準則對各個姿態假定進行評價并確定人體姿態。

技術領域

本發明涉及一種用于估計人體姿態的設備和方法，尤其涉及一種通過融合對包括人體對象的深度圖像進行最小能量骨架掃描(MESS)以及像素標記的結果來估計人體姿態的設備和方法。

背景技術

隨著計算機視覺技術的發展，人們可針對真實3D空間或虛擬3D空間中顯示的對象進行交互操作。在進行這種交互操作時，需要對所述顯示的對象進行自然的非接觸式遙控。此時，人體本身(例如，頭部、手部/手指/臂、軀干或整個身體)可用作進行控制的實體，從而通過身體部位在真實場景中的各種動作對所述顯示的對象進行操作。在這種情況下，可利用深度相機拍攝現場圖像或視頻，基于深度圖像數據估計出人體的姿態，借此分析出用戶的意圖，從而不需要借助于鼠標、鍵盤、操縱桿或觸摸屏等也能夠操縱在虛擬3D空間或真實3D空間中顯示的對象。此外，在許多其它的應用場景下也需要識別人體的姿態。

人們對如何估計人體姿態進行了大量研究，但是，目前用于估計人體姿態的方案僅在單一層次的姿態空間中直接估計人體姿態，這導致運算量較大，且估計精度不高。在這種情況下，現有的人體姿態估計方案往往主要依賴于大量的姿態樣本，但是，即使樣本數量很多，也難以涵蓋針對不同體型、不同姿態(簡單姿態或復雜姿態)的各種樣本，而建立如此大量樣本的姿態數據庫也成為機器學習方法中的難題。

例如，第US20100278384號美國專利申請“Human body pose estimation”提出了一種基于大量人體姿態樣本來識別人體姿態的系統。這一方案在很大程度上依賴于樣本的姿態，而且訓練時間過長。由于上述方案在建立姿態訓練數據庫時無法涉及各種體型的所有復雜姿態，因此，在估計復雜的姿態時性能顯著降低。此外，第US20100197390號美國專利申請“Pose tracking pipeline”公開了一種基于像素簇來產生身體部位的方案，其依賴于第US20100278384號美國專利中公開的像素標記結果。在上述方案中，姿態估計的算法比較復雜，而且在單一層次的姿態空間中進行，因此，姿態估計結果的精確性不高。此外，第US20090252423號美國專利申請“Controlled human pose estimation from depth imagestreams”、第US2010049675A1號美國專利申請“Recovery of 3D Human Pose by JointlyLearning Metrics and Mixtures of Experts”、第US2011025834A1號美國專利申請“Method and apparatus of identifying human body posture”也均存在類似的問題，導致僅適用于簡單的姿態，而在估計復雜姿態時精確度不高，或者，由于運算量大而無法適用于實時系統。

綜上所述，傳統的人體姿態估計方案具有兩個主要問題。一個問題是，過于依賴姿態樣本數據，而實際上收集覆蓋不同的體形、不同的簡單/復雜姿態的姿態樣本非常困難，并且如果姿態數據庫中樣本數量過多，也將給機器學習過程帶來相當大的難度。另一個問題是，不對估計的姿態進行分類，例如，簡單姿態和復雜姿態，正面/側面/交叉等，難以推定準確的人體姿態。

發明內容

本發明的目的在于提供一種能夠以互補方式融合最小能量骨架掃描技術和像素標記技術來估計人體姿態的設備和方法，從而不需要依賴龐大的姿態樣本數據，就較為準確地從人體深度圖像中估計出人體姿態。