[發明專利]用于交互反饋的手部跟蹤

在審

• 申請號: 201680073883.6
• 申請日: 2016-12-20
• 公開（公告）號: CN108369478A
• 公開（公告）日: 2018-08-03
• 發明（設計）人: J·D·J·朔頓;A·W·菲茲吉邦;J·J·泰勒;R·M·班克斯;D·斯威尼;R·科里什;A·J·塞倫;E·A·索托;A·H·托帕利安;B·盧夫
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/0481
• 分類號: G06F3/0481;G06F3/01
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;杜波

描述了一種裝置，包括：存儲器，其被配置為接收描繪操作控制系統的用戶的至少一只手的捕捉到的傳感器數據。所述裝置具有跟蹤器，其被配置為根據捕捉到的傳感器數據來計算手的三維(3D)模型的姿態參數的值，姿態參數包括所述手的多個關節中的每一個的位置和取向。物理引擎存儲關于至少一個虛擬實體的數據。物理引擎被配置為至少基于所述姿態參數的值和關于手的3D模型的數據，來計算在所述虛擬實體與所述用戶的手的3D模型之間的交互。反饋引擎被配置為觸發關于計算出的交互的針對用戶的反饋，所述反饋是視覺反饋、聽覺反饋、觸覺反饋中的任何一個或多個。

背景技術

用戶能夠使用他們的手控制一個或多個虛擬實體的系統可以使用戶以自然方式操作游戲系統、增強現實系統、虛擬現實系統和其他。人類習慣于用他們的手與物理對象交互，并且從小就學會以相當的技巧和靈活性來做到這一點。

發明內容

下面給出了本公開的簡要概述，以便為讀者提供基本的理解。本發明內容并非旨在標識所要求保護的技術方案的關鍵特征或基本特征，也不旨在用于限制所要求保護的技術方案的范圍。其唯一目的是以簡化形式呈現本文所公開的概念的選擇，作為稍后呈現的更詳細描述的序言。

描述了一種裝置，包括：存儲器，其被配置為接收描繪操作控制系統的用戶的至少一只手的捕捉到的傳感器數據。所述裝置具有跟蹤器，其被配置為根據捕捉到的傳感器數據來計算手的三維(3D)模型的姿態參數的值，所述姿態參數包括所述手的多個關節中的每一個關節的位置和取向。物理引擎存儲關于至少一個虛擬實體的數據。物理引擎被配置為至少基于所述姿態參數的值和關于手的3D模型的數據，來計算在所述虛擬實體與所述用戶的手的3D模型之間的交互。反饋引擎被配置為觸發關于計算出的交互的針對用戶的反饋，所述反饋是視覺反饋、聽覺反饋、觸覺反饋中的任何一個或多個.

通過參考結合附圖考慮的以下詳細描述，可以更好地理解許多伴隨的特征，因為相同的特征將變得更好理解。

附圖說明

根據附圖閱讀以下詳細描述將更好地理解本描述，在附圖中：

圖1是佩戴虛擬現實耳機以便演奏虛擬鋼琴的人的示意圖；

圖2是虛擬手演奏虛擬鋼琴的示意圖；

圖3是虛擬手對虛擬實體進行變形的示意圖；

圖4是附著到用戶的真實手上的虛擬小雕像的示意圖；

圖5是跟蹤器、物理引擎和反饋引擎的示意圖，由此用戶用他或她的手控制下游系統；

圖6是圖5的跟蹤器、物理引擎和反饋引擎處的方法的流程圖；

圖7是在跟蹤器處的操作方法的流程圖；

圖8是跟蹤器性能的圖表；

圖9是校準形狀參數的方法的流程圖；

圖10示出了其中實現手部跟蹤器、物理引擎和反饋引擎的實施例的示例性的基于計算的設備。

相似的附圖標記用于表示附圖中的相似部分。

具體實施方式

以下結合附圖提供的詳細描述旨在作為對本示例的描述，而不旨在表示可以構建或利用本示例的唯一形式。描述闡述了示例的功能以及構建和操作該示例的操作序列。然而，相同或等同的功能和序列可以通過不同的示例來完成。

描述了一種使用戶能夠使用他或她的手準確地操縱一個或多個虛擬實體的裝置。捕捉傳感器數據，如深度圖像、彩色圖像、原始飛行時間數據、掃描儀數據以及其他。傳感器數據用于準確跟蹤三維(3D)手部模型的多個關節的姿態參數。結合物理引擎，這可以以自然、直觀的方式對一個或多個虛擬實體進行精細操縱。

虛擬實體是對象、人員、動物、表面或其他實體的全部或部分的計算機生成的表示。