[發明專利]人工現實中的經由近眼顯示器界面的對象增強

有效

• 申請號: 201910020122.X
• 申請日: 2019-01-09
• 公開（公告）號: CN110018736B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 金振國;阿爾貝特·彼得·黃
• 申請（專利權）人: 臉譜科技有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 周靖;楊明釗

1.一種近眼顯示器系統，包括：

近眼顯示器NED，被配置為根據顯示指令顯示圖像；

成像傳感器，被配置為捕捉圖像，所述圖像包括對象的至少一個圖像以及用戶的手的至少一個圖像；以及

控制器，被配置為：

使用一個或多個識別圖案識別所捕捉的圖像中的所述對象，從多個可能的對象中識別所述對象，其中，每個可能的對象與類型相關聯；

基于所捕捉的圖像確定所述用戶的手的手勢，所確定的手勢表明對于所識別的所述對象的觸摸姿勢，通過所述用戶的食指沿朝向所識別的所述對象的方向移動使得所述用戶的食指與所述對象的位置之間的距離在閾值內來形成所述觸摸姿勢；

響應于所確定的手勢表明對于所識別的所述對象的觸摸姿勢，從RF標識符接收包括用于所述對象的標識符的無線電信號；更新所述一個或多個識別圖案以包括用于所述對象的標識符；并且基于所述無線電信號的方向和信號延遲確定所述對象的位置；并且

更新所述顯示指令使得電子顯示器在人工現實環境中顯示虛擬菜單，所述虛擬菜單處于所述人工現實環境中的所述對象的位置的閾值距離內，

其中，由所述控制器基于所述對象的所述類型選擇所述虛擬菜單中的上下文菜單選項。

2.根據權利要求1所述的近眼顯示器系統，其中，所述控制器進一步被配置為：

確定所述用戶的手的所述手勢表明對于所述虛擬菜單的上下文菜單選項中的一者的觸摸姿勢；

執行與所述上下文菜單選項中的所述一者對應的指令；并且

更新所述顯示指令以使得所述電子顯示器顯示激活所述上下文菜單選項中的所述一者的指示。

3.根據權利要求2所述的近眼顯示器系統，其中，激活所述上下文菜單選項中的所述一者的所述指示包括：與所述上下文菜單選項中的所述一者對應的二級上下文菜單。

4.根據權利要求1所述的近眼顯示器系統，其中，所述控制器進一步被配置為：

從所述成像傳感器接收額外捕捉的圖像；

基于所述一個或多個識別圖案檢測所述額外捕捉的圖像中的所述對象；

確定所述額外捕捉的圖像中的所述對象相對于先前捕捉的圖像中的所述對象的所述位置的移動；

基于所確定的移動確定所述對象的新位置；并且

更新所述顯示指令以使得基本上透明的電子顯示器在新位置顯示所述虛擬菜單，其中，顯示所述虛擬菜單的所述新位置在所述人工現實環境中的所述對象的所述新位置的閾值距離內。

5.根據權利要求1所述的近眼顯示器系統，其中，所述對象是可穿戴的戒指。

6.根據權利要求1所述的近眼顯示器系統，其中，標記附接至所述對象，并且所述控制器進一步被配置為：

檢測附接至一個或多個所捕捉的圖像中的所述對象的所述標記；并且

更新所述一個或多個識別圖案以包括所述標記。

7.根據權利要求1所述的近眼顯示器系統，其中，標記包括編碼識別信息的圖案，并且其中，所述控制器進一步被配置為：

從所述標記包括的所述圖案解碼標識符；

更新所述一個或多個識別圖案以包括所述標識符；并且

進一步基于檢測到與所述對象上的所述標識符對應的所述圖案，確定所述對象的位置。

8.根據權利要求1所述的近眼顯示器系統，其中，所述控制器進一步被配置為接收針對所述對象的對象增強請求，所述對象增強請求包括由所述用戶的手針對所述對象做出的所述觸摸姿勢。

9.根據權利要求1所述的近眼顯示器系統，其中，所述控制器進一步被配置為：

接收針對所述對象的對象增強請求；

訪問所述對象的一個或多個圖像；并且

基于所訪問的圖像生成所述對象的所述一個或多個識別圖案。