[發(fā)明專利]用于使用電阻抗測(cè)量追蹤手部運(yùn)動(dòng)的臂帶

在審

• 申請(qǐng)?zhí)枺?/td>: 201880059801.1
• 申請(qǐng)日: 2018-07-26
• 公開（公告）號(hào): CN111095167A
• 公開（公告）日: 2020-05-01
• 發(fā)明（設(shè)計(jì)）人: 穆北鵬;倫佐·德納爾迪;理查德·安德魯·紐科姆比;雷蒙德·金;埃文·保羅·甘德;羅伯特·Y·王
• 申請(qǐng)（專利權(quán)）人: 臉譜科技有限責(zé)任公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/0346;G06F3/03;G06K9/00;G06T7/73
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11262
• 代理人: 周靖;楊明釗

一種系統(tǒng)包括可佩戴設(shè)備，該可佩戴設(shè)備包括布置在可佩戴設(shè)備上的不同位置處的傳感器。每個(gè)傳感器測(cè)量從用戶的手腕或手臂傳輸?shù)碾娦盘?hào)。位置計(jì)算電路耦合到傳感器。位置計(jì)算電路利用機(jī)器學(xué)習(xí)模型使用從電信號(hào)中導(dǎo)出的信息來計(jì)算描述用戶的手腕或手臂的手的手部位置的輸出。

背景

公開領(lǐng)域

本公開總體上涉及使用傳感器進(jìn)行對(duì)身體運(yùn)動(dòng)的追蹤，并且具體涉及使用電阻抗測(cè)量對(duì)人的手部位置(hand position)的追蹤。

相關(guān)技術(shù)的描述

諸如手勢(shì)的身體運(yùn)動(dòng)對(duì)用戶來說是與計(jì)算設(shè)備交互的一種吸引人的方式，因?yàn)槭謩?shì)已經(jīng)是人們交流方式的自然部分。手勢(shì)追蹤設(shè)備可以使用戶能夠控制計(jì)算設(shè)備或與計(jì)算設(shè)備交互，而無需物理上觸摸它們。例如，用戶可以使用手勢(shì)追蹤設(shè)備來控制本地或遠(yuǎn)程環(huán)境中的存儲(chǔ)器或顯示設(shè)備。

手勢(shì)識(shí)別系統(tǒng)可能使用起來難掌握、受到限制并且不舒適。例如，使用機(jī)械信號(hào)來追蹤手部運(yùn)動(dòng)的手套狀設(shè)備可能會(huì)干擾手的觸覺。它們也可能很難針對(duì)具有不同的手部尺寸的不同用戶進(jìn)行定制。基于相機(jī)的手勢(shì)追蹤系統(tǒng)從捕獲的圖像中檢測(cè)用戶的手部區(qū)域，但是通常要求用戶的整只手都在相機(jī)視野范圍內(nèi)。當(dāng)圖像中存在物體遮擋時(shí)，它們還可能遭受失敗。

因此，手勢(shì)追蹤器使用不便、難以管理，并且受到來自系統(tǒng)布置或周圍環(huán)境的失真。傳統(tǒng)手勢(shì)追蹤器的成本還可能很高，因此限制了用戶的采用率。此外，手勢(shì)識(shí)別系統(tǒng)限于一小組預(yù)定義的手勢(shì)。由于這些和其他原因，這樣的手勢(shì)識(shí)別系統(tǒng)不適用于頭戴式顯示器(HMD)的有效手部追蹤。

概述

實(shí)施例涉及一種使用對(duì)用戶的手臂的電阻抗測(cè)量來追蹤人手部運(yùn)動(dòng)的可佩戴設(shè)備。位于可佩戴設(shè)備上的傳感器從用戶的手腕或手臂接收對(duì)應(yīng)于用戶的手部位置的電信號(hào)。從電信號(hào)中提取信息(例如，指示用戶的手臂結(jié)構(gòu)(例如肌腱)的狀態(tài)的阻抗值，從而也指示用戶的手部位置或姿勢(shì)的阻抗值)。阻抗值或從電信號(hào)中提取的其他值可以用作實(shí)現(xiàn)機(jī)器學(xué)習(xí)模型的位置計(jì)算電路的輸入。位置計(jì)算電路使用機(jī)器學(xué)習(xí)模型從輸入中確定用戶的手部位置。在一些實(shí)施例中，可佩戴設(shè)備包括慣性測(cè)量單元(IMU)，該慣性測(cè)量單元測(cè)量用戶的手臂的運(yùn)動(dòng)，并且向位置計(jì)算電路提供慣性信號(hào)作為用于確定手部位置的輸入。在一些實(shí)施例中，使用從與電子信號(hào)的捕獲同時(shí)拍攝的用戶的手的視頻圖像中提取的真實(shí)事實(shí)(ground truth)手部位置來訓(xùn)練機(jī)器學(xué)習(xí)模型。

在一個(gè)實(shí)施例中，系統(tǒng)包括可佩戴設(shè)備，該可佩戴設(shè)備包括布置在該可佩戴設(shè)備上的傳感器。每個(gè)傳感器測(cè)量從用戶的手腕或手臂傳輸?shù)碾娦盘?hào)。位置計(jì)算電路耦合到傳感器。位置計(jì)算電路利用機(jī)器學(xué)習(xí)模型使用從電信號(hào)中導(dǎo)出的信息來計(jì)算描述用戶的手腕或手臂的手的手部位置的輸出。

在一個(gè)實(shí)施例中，位置計(jì)算電路位于可佩戴設(shè)備中。

在一個(gè)實(shí)施例中，位置計(jì)算電路位于可佩戴設(shè)備外部的主機(jī)系統(tǒng)或其他計(jì)算設(shè)備中。

在一個(gè)實(shí)施例中，每個(gè)傳感器包括電極和位于電極和用戶的手腕或手臂之間的導(dǎo)電劑。每個(gè)傳感器可以將交流(AC)信號(hào)、直流(DC)信號(hào)或優(yōu)選地包括多個(gè)頻率的寬帶寬AC信號(hào)傳輸?shù)接脩舻氖滞蠡蚴直壑小?/p>

在一個(gè)實(shí)施例中，每個(gè)電信號(hào)可以包括以下之一：電壓和電壓的相位；電流和電流的相位；或者DC信號(hào)的幅度。

在一個(gè)實(shí)施例中，傳感器以網(wǎng)格陣列或棋盤格(checkerboard)圖案布置。

在一個(gè)實(shí)施例中，從電信號(hào)導(dǎo)出的信息包括基于每對(duì)傳感器之間測(cè)量的電阻抗的合計(jì)值。電阻抗是基于由一對(duì)傳感器傳輸?shù)接脩舻氖滞蠡蚴直壑械奶綔y(cè)信號(hào)和測(cè)量到的電信號(hào)來確定的。在一個(gè)實(shí)施例中，導(dǎo)出的信息可以包括電信號(hào)的波形、電信號(hào)的頻域表示或電信號(hào)的時(shí)域樣本。