[發(fā)明專利]識別指點手勢的裝置、用戶接口和方法

有效

• 申請?zhí)枺?/td>: 201380025048.1
• 申請日: 2013-03-12
• 公開（公告）號: CN104471511B
• 公開（公告）日: 2018-04-20
• 發(fā)明（設(shè)計）人: I·卡茨;A·申弗爾德
• 申請（專利權(quán)）人: 視力移動技術(shù)有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/03;G06F3/0346
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司11127
• 代理人: 呂俊剛,劉久亮

技術(shù)領(lǐng)域

本發(fā)明涉及用戶接口以及包括用戶接口的裝置。

背景技術(shù)

已嘗試?yán)霉鈱W(xué)傳感器實現(xiàn)手勢識別以用于向裝置輸入命令。手勢識別需要在多個成像器中的每一個中在視頻流中標(biāo)識諸如手的身體部位。

例如，已知基于手勢的系統(tǒng)在視頻流中標(biāo)識手勢。對手勢進(jìn)行歸類以確定向相關(guān)電子裝置中的輸入。接收的輸入可用于控制相應(yīng)系統(tǒng)的各個方面。

發(fā)明內(nèi)容

根據(jù)目前所公開的主題的一個方面，提供一種識別平面上的瞄準(zhǔn)點的方法，該方法包括：獲得圖像傳感器的觀察空間的至少一個圖像；

通過操作上連接到所述圖像傳感器的至少一個處理器處理所述至少一個圖像，并獲得指示至少一個指點元件在所述觀察空間中的位置的數(shù)據(jù)；獲得指示所述觀察空間中的至少一個預(yù)定義的用戶身體部位的數(shù)據(jù)；以及通過所述至少一個處理器利用指示所述至少一個指點元件的位置的數(shù)據(jù)以及指示至少一個預(yù)定義的用戶身體部位的位置的數(shù)據(jù)確定所述平面上的點或區(qū)域，從而得到所述平面上的瞄準(zhǔn)點；在獲得指示至少一個指點元件在所述觀察空間中的位置的數(shù)據(jù)的同時確定滿足預(yù)定義的條件；以及執(zhí)行與所述瞄準(zhǔn)點關(guān)聯(lián)的預(yù)定義的命令和/或消息。

在一些情況下，可選地，根據(jù)目前所公開的主題的這一方面的方法可包括以下特征中的一個或更多個(按照任何期望的組合或排列)。

i.其中，所述方法還包括：在所述平面上顯示至少一個圖形元素；通過所述至少一個處理器利用指示所述平面上的所述瞄準(zhǔn)點的位置的數(shù)據(jù)從顯示在所述平面上的所述至少一個圖形元素中標(biāo)識給定圖形元素。

ii.其中，確定所述平面上的所述瞄準(zhǔn)點的步驟還包括：標(biāo)識所述至少一個預(yù)定義的用戶身體部位，所述至少一個身體部位包括所述用戶的臉部和所述用戶的預(yù)定義的臉部部位中的至少一個；標(biāo)識所述至少一個指點元件；確定所述至少一個身體部位在所述觀察空間內(nèi)的位置，從而得到第一位置；確定所述至少一個指點元件在所述觀察空間內(nèi)的位置，從而得到第二位置；確定與所述第一位置和所述第二位置相關(guān)的至少一條觀察射線；以及將所述瞄準(zhǔn)點確定為所述平面上與所述至少一條觀察射線和所述平面的交點關(guān)聯(lián)的點。

iii.其中，確定所述第一位置的步驟包括：確定所述至少一個身體部位的二維位置；估計所述至少一個身體部位距所述平面的距離；并且其中，確定所述第二位置的步驟包括：確定所述至少一個指點元件的二維位置；以及估計指點元件距所述第一位置的距離。

iv.其中，確定所述第一位置的步驟包括：確定所述至少一個身體部位的二維位置；估計所述至少一個身體部位距所述平面的距離；并且其中，確定所述第二位置的步驟包括：確定所述至少一個指點元件的二維位置；以及估計指點元件距所述平面的距離。

v.其中，所述至少一個預(yù)定義的身體部位距所述平面的距離的估計和所述指點元件距所述第一位置的距離的估計中的至少一個利用存儲在數(shù)據(jù)倉庫中的數(shù)據(jù)來執(zhí)行。

vi.其中，所述至少一個身體部位距所述平面的距離的估計利用指示所述用戶的兩個或更多個臉部部位之間的距離的數(shù)據(jù)來執(zhí)行。

vii.其中，指點元件距所述第一位置的距離的估計利用關(guān)于下列項中的至少一個的數(shù)據(jù)來執(zhí)行：所述用戶的身高；估計的所述用戶的身體比例；估計的所述用戶距所述平面的距離；以及多個距離值，各個距離值表示記錄的在指點手勢期間至少一個指點元件與相應(yīng)用戶的預(yù)定義的身體部位之間的距離。

viii.其中，所述第一位置和所述第二位置的確定中的至少一個利用通過所述圖像傳感器和深度傳感器獲得的信息來執(zhí)行。

ix.其中，所述深度傳感器的分辨率小于所述圖像傳感器的分辨率。

x.其中，所述第二位置被確定為在所述觀察空間中在指點手勢期間所述指點元件最靠近所述平面的點P'處所述指點元件的位置。

xi.其中，所述方法還包括：利用從所述指點手勢期間所述指點元件的運(yùn)動提取的位置特征來確定點P'處所述指點元件的位置。

xii.其中，所述方法還包括校準(zhǔn)處理，該校準(zhǔn)處理包括：在所述平面上顯示包括至少一個圖形元素的校準(zhǔn)序列；針對各個給定圖形元素，在所述觀察空間中標(biāo)識所述至少一個指點元件；確定連接所述給定圖形元素、所述至少一個指點元件和用戶的所述預(yù)定義的身體部位的至少一條觀察射線；確定所述至少一個指點元件和所述預(yù)定義的用戶身體部位中的至少一個的相應(yīng)位置；以及將所述相應(yīng)位置與所述給定圖形元素關(guān)聯(lián)地存儲在數(shù)據(jù)倉庫中。