[發明專利]用于人體跟蹤的代表訓練數據

有效

• 申請號: 201110071738.3
• 申請日: 2011-03-18
• 公開（公告）號: CN102194105A
• 公開（公告）日: 2011-09-21
• 發明（設計）人: A·費茨吉本;J·肖頓;M·科克;R·摩爾;M·芬諾基奧
• 申請（專利權）人: 微軟公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 錢靜芳

技術領域

本發明涉及運動捕捉系統，尤其涉及運動捕捉系統中的人體跟蹤。

背景技術

跟蹤系統獲得關于人或其他對象在物理空間中的位置和移動的數據，并且可使用該數據作為計算系統中的某一應用的輸入。某些系統確定身體的骨架模型，包括該骨架的關節，并且因此可被認為是身體關節跟蹤系統。可能有許多應用，如出于軍事、娛樂、體育和醫療目的。例如，人的運動可用于創建動畫人物或化身。包括使用可見和不可見(例如，紅外)光的系統在內的光學系統使用相機來檢測視野中的人的存在。然而，需要通過提供合成圖像形式的訓練數據來方便身體關節跟蹤系統的開發。

發明內容

提供了用于生成用于身體關節跟蹤系統中的人體跟蹤的代表訓練數據的處理器實現的方法、系統和有形計算機可讀存儲。

在身體關節跟蹤系統的開發中，使用深度相機來獲得在該相機的視野中移動的人的深度圖像。使用各種處理技術來檢測該人的身體，并識別該人執行的移動或姿態。該過程可被認為是監督機器學習算法。該過程是監督的是因為人的位置和姿態都是已知的。目標是使得身體關節跟蹤系統了解如何識別該人的位置和姿態。可對該學習算法作出各種調整，例如，過濾掉噪聲、識別不同的身體類型、以及將該人的身體與可能存在于視野中的其他物體(如家具、墻等)進行區分。然而，使用真實世界環境中的活人來訓練該學習算法是低效的，且無法準確地表示身體關節跟蹤系統在其被部署為數千或甚至數百萬用戶家庭中的商用產品時將經歷的各種場景。

為了優化對學習算法的訓練，可生成合成圖像來作為用于真實的人的圖像的代替或代表。該合成圖像可用于擴充或替換真實的人的圖像。此外，該合成圖像可以用在計算上高效的方式來提供，同時是真實的且提供高度可變性來模擬身體關節跟蹤系統在被部署時將經歷的真實世界狀況。

在一個實施例中，提供了一種用于生成用于人體跟蹤的代表訓練數據的處理器實現的方法。該方法包括多個處理器實現的步驟。該方法包括訪問至少一個運動捕捉序列，該至少一個運動捕捉序列標識了其中行動者執行移動的時間段期間該行動者的身體的姿態。例如，該序列可在運動捕捉工作室中通過在穿著帶有標記的運動捕捉套裝的行動者執行一系列規定移動時對該行動者進行成像來獲得。該方法還包括基于至少一個運動捕捉序列執行對多個不同身體類型的重新定標以及不相似姿態選擇，以便提供多個重新定標的不相似姿態。該方法還包括根據用于相應身體類型的3-D身體模型來渲染每一不相似姿態，以提供該不相似姿態的相應深度圖像，并且提供標識該不相似姿態的身體部位的相應分類圖像。使用多個不同的3-D身體模型，對每一身體類型使用一個。此外，相應深度圖像和相應分類圖像構成了可由機器學習算法用于人體跟蹤的像素數據。

在一種方法中，重新定標是在不相似姿態選擇之前執行的，并且在另一方法中，重新定標是在不相似姿態選擇之后執行的。任選地，向深度圖像添加噪聲來提供更真實的深度圖像，該更真實的深度圖像與真實世界環境中的深度相機將看見的深度圖像相似。噪聲可包括可因人有頭發而引起的噪聲、深度量化噪聲、隨機噪聲、人的身體邊緣所引起的噪聲、因檢測極薄結構而引起的噪聲、以及因照相機幾何結構引起的噪聲。

提供本概要以用簡化形式介紹在下面的說明書中進一步描述的精選概念。本概述并不旨在標識出所要求保護的主題的關鍵特征或必要特征，也不旨在用于限定所要求保護的主題的范圍。

附圖說明

在附圖中，標號相同的元素彼此對應。

圖1描繪了身體關節跟蹤系統的示例實施例。

圖2描繪了圖1的身體關節跟蹤系統的示例框圖。

圖3描繪了可以在圖1的身體關節跟蹤系統中使用的計算環境的示例框圖。

圖4描繪了可以在圖1的身體關節跟蹤系統中，或在用于重新定標、不相似姿態選擇和渲染的計算機圖形系統中使用的計算環境的另一示例框圖。

圖5描繪了用于提供用于人體跟蹤的代表訓練數據的方法。

圖6提供了獲得運動捕捉數據(圖5的步驟500)的進一步細節。

圖7a提供了執行重新定標和不相似姿態檢測(圖5的步驟502)的進一步細節，其中首先執行重新定標。

圖7b描繪了用于不相似姿態選擇的算法。

圖7c提供了執行重新定標和不相似姿態檢測(圖5的步驟502)的進一步細節，其中首先執行不相似姿態檢測。

圖8提供了執行渲染來提供深度圖像和分類圖像(圖5的步驟504)的進一步細節。

圖9是向深度圖像添加噪聲(圖5的步驟506)的進一步細節。

圖10a描繪了圖5的過程的替換視圖，其中重新定標在不相似姿態檢測之前執行。