[發明專利]用圖像投影的虛擬交互

有效

• 申請號: 201480005569.5
• 申請日: 2014-01-15
• 公開（公告）號: CN105283824B
• 公開（公告）日: 2018-06-05
• 發明（設計）人: R·貝內特;A·阿哈羅尼
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/03;G06F3/0481;G06F3/0484
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 顧嘉運

提供了涉及在虛擬環境中提供低等待時間交互的實施例。在一個實施例中，接收(350)手部(74)的初始圖像以及表示(76)初始實際位置的初始深度信息。該初始圖像被投影到虛擬環境(38)中的初始虛擬位置(78)。提供該初始圖像(71)的分割版本(80)以供顯示(312)在虛擬環境(308)中的初始虛擬位置(78)。接收手部的后續圖像(82)以及表示后續實際位置(370)的深度信息(84)。后續圖像(82)被投影到虛擬環境(308)中的后續虛擬位置(86)。提供后續圖像(82)的分割版本(92)以供顯示在該后續虛擬位置(86)。檢測手部的三維表示與虛擬或物理對象之間的觸碰。

背景

在一些虛擬現實和混合現實顯示系統中，在虛擬環境中模擬類似觸摸的沉浸式交互可能是合乎需要的。例如，用戶可能想要以與她在物理世界中處置虛擬對象類似的方式用她的手部運動來操縱這一對象。然而，啟用這一沉浸式且自然的類似觸摸的交互已被證明是有挑戰性的。

啟用與虛擬對象的交互的先前嘗試包括使用用戶手部的符號或呈現表示。然而，這些方法通常利用可能向體驗增加顯著等待時間的精確的手部跟蹤。另外，在此類直接物理-虛擬交互中，交互手“直接”被用戶諸如經由透明的頭戴式顯示器/虛擬現實系統看到。此類系統通常包括顯著的虛擬顯示等待時間，因為用戶直接看到手的時間對應于虛擬系統的處理剛剛開始。因此，在這些系統中，顯示器幀率(例如，每秒幀數)由于所經歷的交互等待時間而不可避免地低于下界。查看用戶手部的符號或呈現表示還造成不直觀且自然的體驗。姿勢識別系統通常還利用精確的手部和手指跟蹤，并且受限于用戶被迫學習的符號姿勢“語言”。

捕捉和使用用戶手部的輪廓一般涉及用戶朝著捕捉設備和顯示屏舉起他的手以及在該舉起位置執行移動。在這些系統中，相機位置(例如，前傳感器)在向上舉手(朝著傳感器)時通常只能捕捉到內手掌。這一位置在較長時段內可能是無聊且不舒適的。此外，用戶的手部可能遮擋用戶對正在操縱的對象的查看。另外，捕捉到的用戶手掌的內側的圖像通常被呈現為用戶手部的相對外側的彩色輪廓或陰影。這樣操縱的手部表示還造成感知到較不直觀且間接的交互體驗。

這種內手掌輪廓呈現的另一缺點在手改變離傳感器的距離(例如，在向顯示器/傳感器伸手時，手移動靠近虛擬對象且遠離用戶)時出現。在此情形中，輪廓的大小相應地改變(例如，由于移動靠近傳感器而變得更大)。然而，對于用戶而言，這樣的改變就輪廓將如何自然地改變以逼真地模擬外手掌的輪廓而言是違反直覺的(例如，它將在它移動遠離人時變得更小)。以此方式，此類基于輪廓的系統提供較不真實的手部圖像呈現。

概述

本文公開了涉及在虛擬環境中提供低等待時間交互的各實施例。例如，所公開的一個實施例提供了一種方法，該方法包括接收用戶手部的背面的初始圖像以及表示該手部的初始實際位置的對應的初始深度信息。使用該初始深度信息，將初始圖像投影到虛擬環境中的初始虛擬位置，該初始虛擬位置對應于初始實際位置。向顯示設備提供該初始圖像的分割版本以供顯示在虛擬環境中的初始虛擬位置。

該方法包括接收用戶手部的背面的后續圖像以及表示與初始實際位置不同的手部的后續實際位置的對應的后續深度信息。使用該后續深度信息，將后續圖像投影到虛擬環境中的后續虛擬位置，該后續虛擬位置對應于后續實際位置。向顯示設備提供該后續圖像的分割版本以供顯示在虛擬環境中的后續虛擬位置。該方法然后包括檢測手部的三維表示與虛擬環境中的虛擬對象之間的觸碰。

提供本概述是為了以精簡的形式介紹將在以下詳細描述中進一步描述的一些概念。本概述并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現。

附圖簡述

圖1是根據本公開的一實施例的接口系統和顯示設備的示意圖。

圖2示出根據本公開的一實施例的示例頭戴式顯示設備。

圖3是根據本公開的一實施例的用戶經由接口系統與顯示設備上所顯示的示例虛擬環境交互的示意圖。