[發明專利]用于離散和連續手勢的同時檢測的方法和裝置

在審

• 申請號: 201880088193.7
• 申請日: 2018-11-30
• 公開（公告）號: CN112041784A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: P·凱福什;S·德默斯;亞當·貝雷恩茲維戈;邁克爾·阿斯托爾菲;拉娜·阿瓦德;圖多爾·吉爾杰卡-蒂龍;亞當·阿爾-納特謝
• 申請（專利權）人: 臉譜科技有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F1/16;G06F3/0346;G06N3/04;G06N3/08
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 俞立文;楊明釗

根據至少一個方面，提供了一種計算機化系統。該計算機化系統包括被配置成記錄來自用戶的多個神經肌肉信號的多個神經肌肉傳感器，其中該多個神經肌肉傳感器被布置在一個或更多個可佩戴設備上，并且該系統包括至少一個計算機處理器或計算設備。該至少一個計算機處理器可以被編程為：使用一個或更多個經訓練的統計模型和多個神經肌肉信號來確定表示由用戶執行的至少一個移動的位置信息和力信息；以及至少部分地基于該位置信息和/或力信息來識別由用戶執行的手勢。

背景

存在經由肌電用戶界面(myoelectric user interface)控制計算機系統的技術。在一種這樣的方法中，用戶佩戴大小適合圍繞用戶前臂或手腕的帶。所述帶包括肌電傳感器，該肌電傳感器被布置成通過感測用戶的肌肉活動來檢測手和/或手指手勢(gesture)。典型地，可佩戴的帶包括接收感測的信號并將它們轉換成電子控制信號的處理能力，電子控制信號然后被(無線地或以其他方式)傳送到被控制的設備，例如計算機、某種其他便攜式電子設備、在這樣的設備上執行的應用等。

在生成人體的肌肉骨骼表示(musculoskeletal representation)的一些計算機應用中，希望應用知道用戶身體的空間定位、定向(orientation)和移動，以提供身體移動的現實表示。例如，在虛擬現實(VR)環境中，跟蹤用戶的手的空間位置使得應用能夠在VR環境中表示手部運動，這允許用戶(例如，通過抓握或操縱)與VR環境中的虛擬對象進行交互。使用可佩戴傳感器跟蹤用戶身體移動的一些現有技術包括，使用從附著于用戶身體不同部位的多個慣性測量單元(IMU)獲得的信息，以及使用外部成像設備(例如，固定位置照相機)來重建用戶身體部位的位置和定向。

概述

根據至少一個方面，提供了一種系統。該系統包括：包括多個傳感器的可佩戴設備，該多個傳感器包括神經肌肉傳感器(neuromuscular sensor)，并且被配置成生成至少一個輸出信號，該至少一個輸出信號指示由佩戴該可佩戴設備的用戶執行的移動，至少一個輸出信號包括由神經肌肉傳感器生成的神經肌肉信號；以及，至少一個計算設備，該至少一個計算設備通信地耦合到多個傳感器，并且被配置成：從多個傳感器接收該至少一個輸出信號；使用一個或更多個模型，基于至少一個輸出信號來識別由用戶執行的第一手勢；以及使用一個或更多個模型，基于至少一個輸出信號來識別與第一手勢同時被用戶執行的第二手勢。

在一些實施例中，第一手勢是離散手勢，并且第二手勢是連續手勢。在一些實施例中，多個傳感器包括慣性測量單元(IMU)傳感器，并且至少一個輸出信號包括由IMU傳感器生成的IMU信號。在一些實施例中，至少一個計算設備被配置成至少部分地基于神經肌肉信號來識別由用戶執行的第一手勢，并且至少部分地基于IMU信號來識別與第一手勢同時被用戶執行的第二手勢。在一些實施例中，第一手勢是離散手勢，并且第二手勢是連續手勢。

在一些實施例中，至少一個計算設備被配置成至少部分地基于神經肌肉信號來識別由用戶執行的第一手勢，并且至少部分地基于神經肌肉信號來識別與第一手勢被用戶同時執行的第二手勢。在一些實施例中，至少一個計算設備被配置成使用一個或更多個模型中的第一模型來識別第一手勢，并且使用一個或更多個模型中的不同于該第一模型的第二模型來識別與第一手勢同時被執行的第二手勢。在一些實施例中，至少一個計算設備被配置成至少部分地通過以下操作來訓練第一模型以識別第一手勢：生成包括至少一個輸出信號的第一片段(segment)的第一訓練數據集，在該第一片段期間，用戶同時執行第一手勢和第二手勢；以及使用該第一訓練數據集來訓練第一模型。在一些實施例中，至少一個計算設備被配置成至少部分地通過以下操作來訓練第二模型以識別第二手勢：生成包括至少一個輸出信號的第二片段的第二訓練數據集，在該第二片段期間，用戶同時執行第一手勢和第二手勢；以及使用訓練數據集來訓練第二模型。在一些實施例中，第一訓練數據集與第二訓練數據集相同。