[發明專利]增強現實系統的神經肌肉控制

在審

• 申請號: 201980061965.2
• 申請日: 2019-09-20
• 公開（公告）號: CN112739254A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 賈絲明·斯通;拉娜·阿瓦德;毛秋實;克里斯多佛·奧斯本;丹尼爾·韋特莫爾
• 申請（專利權）人: 臉譜科技有限責任公司
• 主分類號: A61B5/00
• 分類號: A61B5/00
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 周靖;楊明釗

提供了用于控制擴展現實(XR)系統的計算機化系統、方法、套件和存儲用于實現這些方法的代碼的計算機可讀存儲介質。一個這樣的系統包括：一個或更多個神經肌肉傳感器和至少一個計算機處理器，該一個或更多個神經肌肉傳感器感測來自用戶的神經肌肉信號。該一個或更多個神經肌肉傳感器被設置在被構造成由用戶穿戴的一個或更多個可穿戴設備上，以感測神經肌肉信號。該至少一個計算機處理器被編程為：基于神經肌肉信號識別用戶的第一肌肉激活狀態；基于第一肌肉激活狀態，確定要控制的XR系統的操作；基于神經肌肉信號識別用戶的第二肌肉激活狀態；以及基于第二肌肉激活狀態，向XR系統輸出控制信號以控制XR系統的操作。

相關申請的交叉引用

本申請根據35 U.S.C.§119(e)要求2018年9月20日提交的標題為“NEUROMUSCULARCONTROL OF AN AUGMENTED REALITY SYSTEM”的美國臨時專利申請序列號62/734,145的權益，該申請的全部內容通過引用并入本文。

發明領域

本技術涉及檢測和解釋神經肌肉信號的系統和方法，用于在增強現實(AR)環境以及例如虛擬現實(VR)環境、混合現實(MR)環境等的其他類型的擴展現實(XR)環境中執行功能。

背景

增強現實(AR)系統通過將計算機生成的感知或虛擬信息疊加在真實世界環境的各個方面，為用戶提供了以虛擬信息為補充的真實世界環境的交互式體驗。存在各種技術來控制AR系統的操作。典型地，一個或更多個輸入設備，例如控制器、鍵盤、鼠標、相機、麥克風等，可以用于控制AR系統的操作。例如，用戶可以操縱輸入設備(例如控制器或鍵盤)上的多個按鈕，以實現對AR系統的控制。在另一個示例中，用戶可以使用語音命令來控制AR系統的操作。當前用于控制AR系統的操作的技術存在許多缺陷，因此需要改進的技術。

概述

根據本文所述技術的方面，提供了一種基于神經肌肉信號控制增強現實(AR)系統的計算機化系統。該系統可以包括被配置成記錄來自用戶的多個神經肌肉信號的多個神經肌肉傳感器，以及至少一個計算機處理器。多個神經肌肉傳感器可以被布置在一個或更多個可穿戴設備上。該至少一個計算機處理器可以被編程為：基于多個神經肌肉信號識別用戶的第一肌肉激活狀態，基于第一肌肉激活狀態確定要控制的增強現實系統的操作；基于所述多個神經肌肉信號識別用戶的第二肌肉激活狀態；以及基于第二肌肉激活狀態，向AR系統提供控制信號，以控制AR系統的操作。

在一個方面，第一肌肉激活狀態、或第二肌肉激活狀態、或第一肌肉激活狀態和第二肌肉激活狀態兩者可以包括由用戶執行的靜態姿勢。

在另一方面，第一肌肉激活狀態、或第二肌肉激活狀態、或第一肌肉激活狀態和第二肌肉激活狀態兩者可以包括由用戶執行的動態姿勢。

在一個方面，第一肌肉激活狀態、或第二肌肉激活狀態、或第一肌肉激活狀態和第二肌肉激活狀態兩者可以包括肌肉下(sub-muscular)激活狀態。

在另一方面，第一肌肉激活狀態、或第二肌肉激活狀態、或第一肌肉激活狀態和第二肌肉激活狀態兩者可以包括由用戶執行的肌肉拉緊。

在一個方面，第一肌肉激活狀態與第二肌肉激活狀態相同。

在另一方面，控制信號包括用于控制以下各項中的任何一項或任何組合的信號：與AR系統相關聯的顯示設備的亮度、與AR系統相關聯的音頻設備的屬性、與AR系統相關聯的一個或更多個設備的隱私模式或隱私設置、AR系統的電源模式或電源設置、與AR系統相關聯的相機設備的屬性，AR系統的內容顯示、待由AR系統提供的信息、與AR系統相關聯的信息到第二AR系統的傳送、由AR系統生成的用戶的可視化、以及除用戶之外的物體或人的可視化，其中該可視化由AR系統生成。

在一個方面，至少一個計算機處理器可以被編程為經由在AR系統提供的AR環境中顯示的用戶界面，向用戶呈現關于如何控制AR系統的操作的一個或更多個指南(instruction)。