[發明專利]用于人與虛擬對象交互的系統和方法

在審

• 申請號: 201980064378.9
• 申請日: 2019-08-02
• 公開（公告）號: CN112805660A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 徐可;邵鵬
• 申請（專利權）人: 螢火維度有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0346
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 王建國;李琳

一種用于人與虛擬對象交互的系統，包含：觸敏表面，其被配置為檢測在所述觸敏表面上進行的接觸的位置；參考層，其剛性地附接到所述觸敏表面并且包含一個或多個圖案；顯示設備，其被配置為顯示記錄在相對于觸敏表面固定的參考坐標中的虛擬對象；一個或多個圖像傳感器，其剛性地附接到所述顯示設備，其被配置為捕獲所述一個或多個圖案的至少一部分的圖像；以及至少一個處理器，其被配置為基于捕獲的圖像來確定所述顯示設備相對于所述觸敏表面的位置和取向，并且基于檢測到的在所述觸敏表面上進行的所述接觸的位置來識別與所述虛擬對象的交互。

相關申請

本申請要求于2018年8月2日提交的美國臨時申請第62/713,887號的優先權，其全部內容通過引用并入本文。

技術領域

本公開總體上涉及增強現實和虛擬現實的領域。具體地，本公開涉及人與虛擬對象的交互。

背景技術

用戶與虛擬對象的交互是當前增強現實和虛擬現實領域廣泛研究的熱點。常用的交互方法通常可以分為直接交互方法和間接交互方法。直接交互方法跟蹤用戶的手勢和姿勢或者手持設備的空間位置，使得手持設備可以被準確地記錄在虛擬空間中，并且虛擬空間本身可以被準確地覆蓋或者顯示在真實世界的頂部上。結果，用戶可以直接與在其顯示位置處的虛擬對象交互。間接交互方法通常包含與虛擬元素交互的指示器，并且用戶經由輸入設備來控制指示器的移動和動作。此外，指示器的移動可以相對于記錄的輸入運動被縮放或偏移，使得對于小的交互區域，用戶可以與遠離或分布在大空間中的虛擬對象交互。

直接交互方法可以采用諸如手跟蹤、身體跟蹤和六自由度手持式控制器的技術。該手跟蹤方法典型地具有手勢捕獲和識別系統，其中可以通過圖像采集傳感器或配備有取向和彎曲傳感器的手套來捕獲手勢以重建該手勢。然后，類似于手與物理世界中的真實對象交互的情況，重建的手勢或手及其空間位置和取向可以用于模擬與虛擬對象的交互。類似地，六自由度手持式控制器具有其平移和取向跟蹤，使得其可以在虛擬空間中被記錄，并用于在其顯示位置處創建與虛擬對象的交互。

間接交互方法可以使用傳統輸入設備(例如觸摸板、鼠標或鍵盤)的變體。用戶可以與這些設備交互，以控制指示器在虛擬空間中的移動并且與虛擬元素交互。例如，使用鼠標或觸摸板的交互系統可以在桌子或觸摸板表面上記錄用戶的手移動或手指移動，使得虛擬指針根據所記錄的移動而移動并且用于向虛擬元素施加動作。虛擬指針的移動可以被縮放，并且其位置可以相對于手或手指的位置偏移，使得用戶可以在整個虛擬空間中導航指針，而不會跑出在輸入設備的交互區域中的空間。另外，有時輸入設備只記錄相對移動，使得用戶通過在輸入設備上進行多個相對移動從而進一步擴展虛擬指針的移動范圍。

當使用例如手跟蹤或手持控制器的直接交互提供了控制虛擬對象的真實體驗和高度自由度時，需要在空中不斷地保持手和在物理世界中到處移動手可以快速地引入疲勞并防止長時間使用。此外，用相對低成本的傳感器和流線型的用戶設置體驗來實現對手或身體的可靠且高保真的空間跟蹤是具有挑戰性的。使用例如鍵盤、鼠標或觸摸板系統的間接交互提供了來自個人計算機/智能電話時代的熟悉體驗，并允許用戶容易地與虛擬內容交互，但它減少了由增強現實或虛擬現實系統所創造的沉浸感。

發明內容

公開了方法和系統，所述方法和系統允許用戶查看并直接與準確地覆蓋在觸摸輸入設備的交互區域之上的三維(3D)和二維(2D)虛擬內容交互。這樣的系統通過允許用戶直接與在其顯示位置處的虛擬對象交互并且與所記錄的精確輸入運動交互來保持增強現實或虛擬現實系統的沉浸感。同時，觸摸輸入系統的集成提供了用于交互和手部休息的物理表面。因此，可以實現對輸入運動的精確的、響應的、可靠的跟蹤以及不費力的交互體驗。