[發(fā)明專利]虛擬目標跟蹤

有效

• 申請?zhí)枺?/td>: 201080055256.2
• 申請日: 2010-12-06
• 公開（公告）號: CN102640186A
• 公開（公告）日: 2012-08-15
• 發(fā)明（設(shè)計）人: R·M·蓋斯
• 申請（專利權(quán)）人: 微軟公司
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 上海專利商標事務(wù)所有限公司 31100
• 代理人: 黃嵩泉

背景

許多計算機游戲和其他計算機視覺應(yīng)用利用復(fù)雜的控制來允許用戶操縱游戲人物或應(yīng)用的其他方面。這些控制可能難以學(xué)習(xí)，從而對許多游戲或其他應(yīng)用造成了進入市場壁壘。此外，這些控制可能與這些控制所用于的實際游戲動作或其他應(yīng)用動作非常不同。例如，使得游戲人物揮動棒球拍的游戲控制可能完全不類似于揮動棒球拍的實際運動。

概述

提供本概述以便以簡化的形式介紹將在以下詳細描述中進一步描述的一些概念。本概述并不旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中提及的任何或所有缺點的實現(xiàn)。

這里討論了與視覺目標跟蹤有關(guān)的各種實施例。所公開的一個實施例包括用被配置成調(diào)整成多個不同姿勢的機器可讀模型來表示人類目標。該機器可讀模型包括多個關(guān)節(jié)，所述多個關(guān)節(jié)包括一個或多個磁性關(guān)節(jié)并且每一個關(guān)節(jié)具有三維世界空間位置。該方法還包括從源接收人類目標的觀察到的深度圖像。觀察到的深度圖像包括多個觀察到的像素。磁性身體部位被分配給多個觀察到的像素中的一個或多個，并且基于被分配了磁性身體部位的一個或多個觀察到的像素的世界空間位置來估計磁性關(guān)節(jié)位置。機器可讀模型的關(guān)節(jié)隨后移向該磁性關(guān)節(jié)位置。

附圖簡述

圖1A示出了跟蹤玩拳擊游戲的游戲玩家的示例性目標識別、分析和跟蹤系統(tǒng)的實施例。

圖1B示出了圖1A的游戲玩家揮出重拳，該重拳被跟蹤并且被解釋成致使玩家化身在游戲空間中揮出重拳的游戲控制。

圖2示意性地示出根據(jù)本公開的一實施例的計算系統(tǒng)。

圖3示出了用于表示人類目標的示例性身體模型。

圖4示出了用于表示人類目標的示例性骨架模型的基本上正面的視圖。

圖5示出了用于表示人類目標的示例性骨架模型的斜視圖。

圖6示出了用于表示人類目標的示例性網(wǎng)格模型。

圖7示出了在視覺上跟蹤目標的示例方法的流程圖。

圖8示出了示例性的觀察到的深度圖像。

圖9示出了示例性的合成的深度圖像。

圖10示意性地示出了構(gòu)成合成的深度圖像的像素中的某一些。

圖11A示意性地示出了向模型的受力位置施加力。

圖11B示意性地示出了向圖11A的模型的受力位置施加力的結(jié)果。

圖12A示出了從圖11A的模型渲染的玩家化身。

圖12B示出了從圖11B的模型渲染的玩家化身。

圖13示意性地示出了將合成的深度圖像與相應(yīng)的觀察到的深度圖像進行比較。

圖14示意性地示出了標識圖13的比較的不匹配的合成的像素的區(qū)域。

圖15示意性地示出了合成的深度圖像和相應(yīng)的觀察到的深度圖像的另一比較，其中不匹配的像素的區(qū)域?qū)?yīng)于各種像素例。

圖16示意性地示出了拉像素例（pull?pixel?case）的示例實施例。

圖17示意性地示出了推像素例（push?pixel?case）的示例實施例。

圖18示出了詳細列出各種像素例和骨架模型關(guān)節(jié)之間的示例關(guān)系的表。

圖19示出了向表示目標的模型的約束的施加。

圖20示出了向表示目標的模型的約束的另一施加。

圖21示出了向表示目標的模型的約束的又一施加。

詳細描述

本公開涉及目標識別、分析和跟蹤。具體來說，公開了使用深度相機或其他源來獲取一個或多個目標的深度信息。如下文詳細描述的，這些深度信息然后可被用于高效且準確地對一個或多個目標進行建模以及跟蹤。這里所述的目標識別、分析和跟蹤提供了一種健壯的平臺，其中可以相對較快的幀率來一致地跟蹤一個或多個目標，即使目標移動成已被認為是使用其他方法難于分析的姿態(tài)（例如，當兩個或更多個目標部分地互相重疊和/或遮擋時；當目標的一部分自遮擋同一目標的另一部分時；當目標改變其局部解剖外觀（如某人觸摸他的或她的頭）時，等等）。