[發明專利]用于離散和連續手勢的同時檢測的方法和裝置

在審

• 申請號: 201880088193.7
• 申請日: 2018-11-30
• 公開（公告）號: CN112041784A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: P·凱福什;S·德默斯;亞當·貝雷恩茲維戈;邁克爾·阿斯托爾菲;拉娜·阿瓦德;圖多爾·吉爾杰卡-蒂龍;亞當·阿爾-納特謝
• 申請（專利權）人: 臉譜科技有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F1/16;G06F3/0346;G06N3/04;G06N3/08
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 俞立文;楊明釗

1.一種系統，包括：

可佩戴設備，其包括多個傳感器，所述多個傳感器包括神經肌肉傳感器，并且被配置成生成至少一個輸出信號，所述至少一個輸出信號指示由佩戴所述可佩戴設備的用戶執行的移動，所述至少一個輸出信號包括由所述神經肌肉傳感器生成的神經肌肉信號；以及

至少一個計算設備，其通信地耦合到所述多個傳感器，并且被配置成：

從所述多個傳感器接收所述至少一個輸出信號；

使用一個或更多個模型，基于所述至少一個輸出信號來識別由用戶執行的第一手勢；以及

使用所述一個或更多個模型，基于所述至少一個輸出信號來識別與所述第一手勢同時被用戶執行的第二手勢。

2.根據權利要求1所述的系統，其中，所述第一手勢是離散手勢，并且所述第二手勢是連續手勢。

3.根據權利要求1所述的系統，其中，所述多個傳感器包括慣性測量單元(IMU)傳感器，并且所述至少一個輸出信號包括由所述IMU傳感器生成的IMU信號。

4.根據權利要求3所述的系統，其中，所述至少一個計算設備被配置成至少部分地基于所述神經肌肉信號來識別由用戶執行的所述第一手勢，并且至少部分地基于所述IMU信號來識別與所述第一手勢同時被用戶執行的所述第二手勢。

5.根據權利要求4所述的系統，其中，所述第一手勢是離散手勢，并且所述第二手勢是連續手勢。

6.根據權利要求1所述的系統，其中，所述至少一個計算設備被配置成至少部分地基于所述神經肌肉信號來識別由用戶執行的所述第一手勢，并且至少部分地基于所述神經肌肉信號來識別與所述第一手勢同時被用戶執行的所述第二手勢。

7.根據權利要求1所述的系統，其中，所述至少一個計算設備被配置成使用所述一個或更多個模型中的第一模型來識別所述第一手勢，并且使用所述一個或更多個模型中的不同于所述第一模型的第二模型來識別與所述第一手勢同時被執行的所述第二手勢。

8.根據權利要求7所述的系統，其中，所述至少一個計算設備被配置成至少部分地通過以下操作來訓練所述第一模型以識別所述第一手勢：

生成包括所述至少一個輸出信號的第一片段的第一訓練數據集，在該第一片段期間，用戶同時執行所述第一手勢和所述第二手勢；以及

使用所述第一訓練數據集來訓練所述第一模型。

9.根據權利要求8所述的系統，其中，所述至少一個計算設備被配置成至少部分地通過以下操作來訓練所述第二模型以識別所述第二手勢：

生成包括所述至少一個輸出信號的第二片段的第二訓練數據集，在該第二片段期間，用戶同時執行所述第一手勢和所述第二手勢；以及

使用所述訓練數據集來訓練所述第二模型。

10.根據權利要求9所述的系統，其中，所述第一訓練數據集與所述第二訓練數據集相同。

11.根據權利要求1所述的系統，其中，所述神經肌肉傳感器包括從包括以下項的組中選出的傳感器：肌電圖(EMG)傳感器、肌動圖(MMG)傳感器和聲肌圖(SMG)傳感器。

12.根據權利要求1所述的系統，其中，所述可佩戴設備包括被配置成圍繞用戶身體部位佩戴的柔性帶或彈性帶。

13.根據權利要求12所述的系統，其中，所述柔性帶或彈性帶包括被配置成圍繞用戶手臂佩戴的臂帶。

14.根據權利要求1所述的系統，其中，所述一個或更多個模型中的至少一個是經訓練的統計模型。

15.根據權利要求14所述的系統，其中，所述經訓練的統計模型被實現為神經網絡、非線性回歸模型或馬爾可夫模型。