[發明專利]一種基于Leap Motion的多特征動態手勢識別方法

在審

• 申請號: 201910323273.2
• 申請日: 2019-04-22
• 公開（公告）號: CN111831101A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 吳曉紅;高宇;何小海;王正勇;吳小強;卿粼波;滕奇志
• 申請（專利權）人: 四川大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出一種基于Leap Motion的多特征動態手勢識別方法。首先通過Leap Motion對手勢追蹤得到深度信息，在從深度信息中提取特征向量的過程中增加對拐點的判定計數和手勢位移向量的提取。然后利用特征向量訓練得到HMM手勢模型，最后通過對待測手勢進行HMM手勢模型的匹配，選擇匹配率最高的作為識別結果。由于新特征體現了相似手勢的區分度，從而降低了相似手勢的錯誤識別率，提高了動態手勢的整體識別率。在多個動態手勢的實驗驗證了該方法的有效性。

技術領域

本發明涉及人機交互領域中的動態手勢識別問題，尤其是涉及一種基于LeapMotion的多特征動態手勢識別方法。

背景技術

人機交互技術在虛擬現實中扮演的角色地位逐漸提升。人們不僅對人機交互的實時性、識別率等標準的要求愈發嚴苛，而且提出人機交互方式更簡單、準確率更高和參與性更強的發展需求。手勢作為一種變化方式和表達含義都很豐富的肢體語言，自然成為人機交互的一種重點媒介。

手勢識別分為靜態手勢識別和動態手勢識別，相較于靜態手勢識別而言，動態手勢識別中手部會根據時間和空間的改變而產生手勢和運動軌跡的變化。動態手勢識別一般有特征數據采集、手勢模型訓練和手勢分類識別三個步驟。其中，手勢模型的訓練和建立是至關重要的一步。選擇不同手勢之間區分度較大的特征參與手勢模型的訓練，才能準確建立出相似手勢的不同手勢模型。張琪祥利用掌心位移、掌心法向量、掌心球半徑和五指伸展程度作為特征訓練HMM手勢模型，但是一些相似手勢的識別率差強人意；陳國良等人選取運動軌跡、手指彎曲度、手掌姿態和手指分開度作為特征進行手勢模型訓練，然而對相似單指動態手勢的識別不夠理想。

發明內容

針對以上相似手勢識別率不足的問題，本發明提出了一種基于Leap Motion的多特征動態手勢識別方法。在對動態手勢進行追蹤后，為進一步提升相似手勢的區分度特征向量中加入拐點的判定計數和手勢位移向量的提取，然后結合新特征向量進行HMM手勢模型的訓練和識別。本發明主要通過以下過程步驟實現上述目的：

(1)使用體感控制器Leap Motion追蹤訓練樣本動態手勢獲取數據；

(2)通過對獲取數據初步處理得到本方法所需特征向量；

(3)根據(2)中所得特征向量進行HMM手勢模型的訓練；

(4)使用體感控制器Leap Motion追蹤待測手勢獲取與(2)中相同種類的特征向量；

(5)根據(3)中HMM模型和(4)中特征向量對待測手勢進行評估，選擇匹配概率最大的手勢模型作為識別結果。

附圖說明

圖1基于HMM模型的動態手勢識別框架圖；

具體實施方式

本發明提取手的掌心位移、掌心法向量、運動方向變化率、掌心球半徑、拐點的判定計數和位移向量角度作為構成特征向量的特征。

利用Leap Motion追蹤信息提取經典特征如下：

(1)掌心位移數據的獲取

從一個時刻起，到另一個時刻止，兩個時刻追蹤目標手的掌心坐標之間的歐氏距離即為掌心位移。計算過程如下：

其中P為掌心位移，(x_i,y_i,z_i)為掌心在i時刻的空間坐標，(x_c,y_c,z_c)為掌心在c時刻的空間坐標。

(2)手勢速度的獲取