[發明專利]基于捏和拉手勢檢測人工現實系統中的輸入

在審

• 申請號: 202080039024.1
• 申請日: 2020-05-29
• 公開（公告）號: CN113874819A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 喬納森·勞沃斯;艾蒂安·平欽;西蒙·查爾斯·蒂克納;羅伯特·埃利斯;賈斯珀·史蒂文斯;亞當·蒂博爾·瓦爾加;詹妮弗·林恩·斯珀洛克;凱爾·埃里克·索爾格-圖米;巴雷特·福克斯
• 申請（專利權）人: 臉譜科技有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0481;G06F3/0482;G06K9/00;G02B27/01
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 陸建萍;楊明釗

描述了一種人工現實系統，其在人工現實環境中渲染、呈現和控制用戶界面元素，并響應于檢測到的用戶的一個或更多個手勢來執行動作。在一個示例中，人工現實系統包括被配置為捕獲代表物理環境的圖像數據的圖像捕獲設備；被配置為輸出人工現實內容的頭戴式顯示器(HMD)；手勢檢測器，該手勢檢測器被配置為從圖像數據中識別手勢，該手勢包括來自手的兩個手指的運動以形成捏構形，以及當處于捏構形時的后續拉動運動；被配置為響應于識別手勢而生成UI輸入元素的用戶界面(UI)引擎；以及被配置為將UI輸入元素渲染為對人工現實內容的至少一些的疊加的渲染引擎。

相關申請的交叉引用

本申請要求2019年6月7日提交的美國申請第16/435,116號的優先權，該申請的內容通過引用以其整體并入本文以用于全部目的。

技術領域

本公開總體上涉及人工現實系統，例如虛擬現實、混合現實和/或增強現實系統，更具體地，涉及人工現實系統的用戶界面。

背景

人工現實系統正變得越來越普遍，應用于許多領域，諸如計算機游戲、健康和安全、工業和教育。作為幾個示例，人工現實系統正在被合并到移動設備、游戲機、個人計算機、電影院和主題公園中。通常，人工現實是在呈現給用戶之前已經以某種方式調整的現實的形式，其可包括例如虛擬現實(VR)、增強現實(AR)、混合現實(MR)、混雜現實(hybridreality)、或其某種組合和/或衍生物。

典型人工現實系統包括用于渲染和向用戶顯示內容的一個或更多個設備。作為一個示例，人工現實系統可合并頭戴式顯示器(HMD)，該HMD由用戶佩戴并且被配置為向用戶輸出人工現實內容。人工現實內容可包括完全生成內容或與捕獲內容(例如，真實世界視頻和/或圖像)組合的生成內容。在操作期間，用戶通常與人工現實系統交互，以選擇內容、啟動應用或以其他方式配置系統。

概述

總的來說，本公開描述了人工現實系統，更具體地，描述了用于在人工現實環境中呈現和控制用戶界面元素的圖形用戶界面元素和技術。

例如，描述了人工現實系統，其響應于檢測到用戶的一個或更多個預定義手勢(gesture)，例如用戶的手、手指、拇指或手臂的特定運動、構形(configuration)、位置和/或取向，或者預定義手勢的組合，生成并渲染圖形用戶界面元素以顯示給用戶。在一些示例中，人工現實系統還可以響應于結合其他條件的特定手勢的檢測來觸發圖形用戶界面元素的生成和呈現，其他條件例如是物理環境中特定手勢相對于用戶的當前視場的位置和取向，這可以通過用戶的實時凝視跟蹤來確定，或者相對于用戶佩戴的HMD的姿勢(pose)來確定。

在一些示例中，人工現實系統可以生成并呈現圖形用戶界面元素作為相對于當前正在人工現實系統的顯示器內渲染的人工現實內容的疊加元素(overlay element)。圖形用戶界面元素可以是例如圖形用戶界面，例如用戶與之交互以操作人工現實系統的菜單或子菜單，或者可由用戶選擇和操作的單個圖形用戶界面元素，例如切換元素(toggleelement)、下拉元素、菜單選擇元素、二維或三維形狀、圖形輸入鍵或鍵盤、內容顯示窗口等。

本公開描述了用于識別用戶的手與諸如用戶界面(UI)捏元素的用戶界面元素的交互，并且響應于這種交互，觸發(trigger)或選通(gate)圖形用戶界面元素的呈現的技術。在一些示例中，用戶可以通過手勢或運動與這種UI捏元素交互，該手勢或運動可以包括手的兩個手指被放在一起和/或在UI捏元素附近形成捏構形(pinching configuration)，隨后是當手處于捏構形時手和/或手指的后續拉動運動(pulling motion)。在一些示例中，圖形用戶界面元素的呈現的觸發或選通可以響應于在控制物理指示筆(stylus)時識別或檢測到由用戶的手執行的特定動作或移動。