[發明專利]用于交互反饋的手部跟蹤

在審

• 申請號: 201680073883.6
• 申請日: 2016-12-20
• 公開（公告）號: CN108369478A
• 公開（公告）日: 2018-08-03
• 發明（設計）人: J·D·J·朔頓;A·W·菲茲吉邦;J·J·泰勒;R·M·班克斯;D·斯威尼;R·科里什;A·J·塞倫;E·A·索托;A·H·托帕利安;B·盧夫
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/0481
• 分類號: G06F3/0481;G06F3/01
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;杜波

1.一種裝置，包括：

存儲器，其被配置為接收描繪操作控制系統的用戶的至少一只手的捕捉到的傳感器數據；

跟蹤器，其被配置為根據所述捕捉到的傳感器數據來計算所述手的三維模型的姿態參數的值，所述姿態參數包括所述手的多個關節中的每個關節的位置和取向；

物理引擎，其存儲關于至少一個虛擬實體的數據；

其中所述物理引擎被配置為至少基于所述姿態參數的所述值和關于所述手的所述三維模型的數據，來計算所述虛擬實體與所述用戶的所述手的所述三維模型之間的交互；以及

反饋引擎，其被配置為觸發關于計算出的所述交互的、針對所述用戶的反饋，所述反饋是視覺反饋、聽覺反饋、觸覺反饋中的任何一種或多種。

2.根據權利要求1所述的裝置，其中所述物理引擎被配置為使用一個或多個球體來計算所述交互，所述一個或多個球體近似所述手的所述三維模型，所述姿態參數的所述值已經被應用于所述手的所述三維模型。

3.根據權利要求1所述的裝置，其中所述物理引擎被配置為使用所述手的所述三維模型來計算所述交互，其中所述手的所述三維模型是具有包括所述多個關節的關聯骨架的模型。

4.根據任一前述權利要求所述的裝置，其中所述跟蹤器被配置為根據所述捕捉到的傳感器數據計算所述三維模型的形狀參數的值，使得所述三維模型被校準成所述用戶的手的個體形狀。

5.根據任一前述權利要求所述的裝置，其中所述跟蹤器被配置為通過計算用于將所述手的所述三維模型擬合到與所述捕捉到的傳感器數據相關的數據的優化來計算所述姿態參數的值，其中表示所述數據與所述模型之間的對應性的變量與所述姿態參數一起聯合地被包含于所述優化中。

6.根據權利要求5所述的裝置，其中所述三維模型是所述手的被操縱的光滑表面模型。

7.根據權利要求5或權利要求6所述的裝置，其中所述跟蹤器被配置為使用基于梯度的優化過程來計算所述優化。

8.根據任一前述權利要求所述的裝置，其中所述物理引擎被配置為在所述虛擬實體作為軟體而可變形的情況下計算所述交互，作為所述手的所述三維模型根據所述姿態參數的所述值進行的交互的結果。

9.根據權利要求1至7中任一項所述的裝置，其中所述物理引擎被配置為在所述虛擬實體作為剛體而被移動的情況下計算所述交互，作為所述手的所述三維模型根據所述姿態參數的所述值進行的交互的結果。

10.根據任一前述權利要求所述的裝置，其中所述物理引擎被配置為計算所述交互，使得所述虛擬實體看起來附著到所述用戶的手并能夠在所述用戶的手上移動。

11.根據任一前述權利要求所述的裝置，其中所述物理引擎被配置為將指令發送到至少一個輸出設備以便觸發音頻和/或觸覺反饋。

12.根據任一前述權利要求所述的裝置，其中所述物理引擎存儲關于樂器或計算設備的鍵盤的形式的所述虛擬實體的數據，使得所述用戶能夠使用所述手來控制虛擬鍵盤。

13.一種計算機實現的方法，包括：

接收描繪操作控制系統的用戶的至少一只手的捕捉到的傳感器數據；

根據所述捕捉到的傳感器數據來計算所述手的三維模型的姿態參數的值，所述姿態參數包括所述手的多個關節中的每個關節的位置和取向；

使用物理引擎，至少基于所述姿態參數的所述值和關于所述手的所述三維模型的數據，來計算虛擬實體與所述用戶的所述手的所述三維模型之間的交互；以及

觸發關于計算出的所述交互的、針對所述用戶的反饋，所述反饋是視覺反饋、聽覺反饋、觸覺反饋中的任何一種或多種。