[發明專利]利用運動數據和圖像數據生成骨架模型的設備和方法

有效

• 申請號: 201010003173.0
• 申請日: 2010-01-14
• 公開（公告）號: CN101840587A
• 公開（公告）日: 2010-09-22
• 發明（設計）人: 金昌容;金道均;方遠喆;李基彰;韓在濬;林和燮
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 韓明星;羅延紅

本申請要求于2009年3月17日提交到韓國知識產權局的第10-2009-0022506號韓國專利申請的優先權，該申請的公開通過引用合并于此。

技術領域

示例實施例涉及一種在虛擬現實(virtual?reality)中對用戶進行建模的技術，更具體地講，涉及一種利用從圖像傳感器和運動傳感器采集的數據來關于用戶的全身生成三維(3D)骨架模型(skeleton?model)的設備和方法。

背景技術

當前，已經提出各種利用虛擬現實的技術。具體地講，通過檢測用戶的運動來在虛擬現實中反映用戶的實際運動的技術已經引起關注。對于與虛擬環境(如游戲等)交互而言，用戶的全身的軌跡會是重要的工具。

在傳統技術中，有許多檢測用戶運動的方法。例如，有通過在用戶的全身附著眾多標記，或者通過簡單地捕捉用戶的圖像，來對用戶的運動建模的方法。

在利用標記的方法中，可能由于用戶活動的減少而難以精確地測量用戶的運動，或者當標記由于掩蔽而不可見時，可能無法測量用戶的運動。此外，不管傳感器數量如何，可能需要利用特定姿態的校準。在捕捉用戶的方法中，當拍攝裝置的數量相對少時，3維(3D)位置的準確度會變差，當用戶的全身的部位重疊時，可能難以對用戶的運動建模。此外，可能無法針對用戶的關節檢測位置或取向。

因此，需要一種更有效地對用戶的全身建模的方法。

發明內容

根據示例實施例，可提供一種生成骨架模型的設備，該設備包括：數據同步單元，分別對由圖像傳感器采集的用戶的圖像數據和由運動傳感器采集的用戶的運動數據執行同步；剪影提取單元，從同步的圖像數據提取用戶的剪影；關節信息計算單元，從同步的運動數據計算用戶的關節的位置或取向；骨架模型生成單元，利用所述剪影和用戶的關節的位置或取向，生成用戶的全身的三維(3D)骨架模型。

在這種情況下，骨架模型生成單元可基于所述剪影，從用戶的關節的位置或取向來生成用戶的全身的3D骨架模型。

此外，骨架模型生成單元可基于用戶的關節的位置或取向，從所述剪影來生成用戶的全身的3D骨架模型。

此外，骨架模型生成單元可利用從剪影提取的3D骨架模型和從用戶的關節的位置或取向提取的3D骨架模型中的每一個的誤差范圍，來生成用戶全身的3D骨架模型。

根據示例實施例，提供一種生成骨架模型的方法，該方法包括：分別對由圖像傳感器采集的用戶的圖像數據和由運動傳感器采集的用戶的運動數據執行同步；從同步的圖像數據提取用戶的剪影；從同步的運動數據計算用戶的關節的位置或取向；利用所述剪影和用戶的關節的位置或取向，生成用戶的全身的3D骨架模型。

示例實施例的另外的方面、特征和/或優點將通過下面的描述被部分地闡述，并且部分地將從描述變得明顯，或者可通過本公開的實踐而了解。

附圖說明

通過下面結合附圖對實施例的描述，本發明的這些和/或其他方面和優點將變得明顯并更易于理解，其中：

圖1示出根據示例實施例的用于生成骨架模型的設備的整體構造的框圖；

圖2示出根據示例實施例的利用圖像傳感器和運動傳感器關于用戶的全身生成三維(3D)骨架模型的過程；

圖3示出根據示例實施例的采集用戶的圖像數據和用戶的運動數據的示例；

圖4示出根據示例實施例在圖像數據和運動數據之間執行空間同步的處理的示圖；

圖5示出根據示例實施例的在圖像數據和運動數據之間執行時間同步的處理的示圖；

圖6示出根據示例實施例的基于運動數據利用圖像數據生成3D骨架模型的處理的示圖；

圖7示出根據示例實施例的基于圖像數據利用運動數據生成3D骨架模型的處理的示圖；

圖8示出根據示例實施例的利用從2個3D骨架模型生成的誤差范圍來提煉3D骨架模型的處理的示圖；

圖9示出根據示例實施例的生成骨架模型的方法的整個過程的流程圖。

具體實施方式

現在將詳細說明一個或多個實施例，其示出于附圖中，在附圖中，相同的標號始終表示相同的部件。以下參照附圖描述示例實施例以解釋本公開。

圖1示出根據示例實施例的用于生成骨架模型的設備100的整體構造的框圖。

參照圖1，設備100可包括數據同步單元101、剪影(silhouette)提取單元102、關節信息計算單元103和骨架模型生成單元104。

設備100可利用用戶的圖像數據和用戶的運動數據來生成用戶的全身的三維(3D)骨架模型，然后通過生成的3D骨架模型來檢測用戶的全身，從而獲得用戶的運動的軌跡。