[發明專利]一種多模態手勢的識別方法

有效

• 申請號: 201811455224.6
• 申請日: 2018-11-30
• 公開（公告）號: CN109543644B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 馮志全;郭小沛
• 申請（專利權）人: 濟南大學
• 主分類號: G06V40/20
• 分類號: G06V40/20
• 代理公司: 北京中索知識產權代理有限公司 11640
• 代理人: 商金婷

1.一種多模態手勢的識別方法，其特征在于：所述方法利用數據手套和Kinect采集手勢的數據，然后對采集到的數據進行預處理得到手勢的曲線，最后利用手勢的曲線特征進行手勢識別；

所述利用手勢的曲線特征進行手勢識別的操作包括：

第一步：對于每一條手勢的曲線，獲得每段曲線的長度，即幀數；每段曲線是指一個關節或者一個方向的曲線；

第二步，計算該段曲線長度占整條曲線總長度的百分比ω₀，即每段曲線的幀數占總幀數的百分比，剩余曲線占整條曲線的百分比為ω₁；

第三步，獲得曲線的多項式，利用多項式獲得在每段曲線上的所有取值，并計算其數學平均值，記為μ₀；

第四步，計算剩余曲線的整體平均值，即將剩余曲線的幀數的和除以其幀數，記為μ₁；

第五步，針對每一個待識別手勢，計算待識別手勢與手勢庫中所有手勢的改進后的皮爾遜相關系數，然后找到改進后的皮爾遜相關系數中的最大值，該最大值所對應的手勢庫中的手勢即為該待識別手勢的識別結果；

所述第五步的操作包括：

采用公式(12)計算待識別手勢與手勢庫中所有手勢的改進的皮爾遜相關系數為：

其中，N表示曲線長度；

I表示定義的變量，其最大值為N；

X表示變量X，代表待識別手勢；

Y表示變量Y，代表手勢庫中的手勢；

cov(X,Y)表示兩個手勢的曲線之間的協方差；

σ_Xσ_Y為兩個手勢的曲線之間的標準差；

ω_i表示權重：

W代表含有β的函數；

S_A為不同關節之間或者不同方向之間的類間方差：

S_A＝ω₀ω₁(μ₀-μ₁)² (10)

S_B為同一關節或同一方向的類內方差：

其中，L為在該段曲線上所有取值的數，x_i為該段曲線上的所有取值。

2.根據權利要求1所述的多模態手勢的識別方法，其特征在于：所述利用數據手套和Kinect采集手勢的數據的操作包括：

利用數據手套采集各個手指關節的角度變化數據，利用Kinect采集手部質心的坐標變化數據。

3.根據權利要求2所述的多模態手勢的識別方法，其特征在于：所述利用數據手套采集各個手指關節的角度變化數據的操作包括：

將動態手勢轉化為人手的15個關節的運動，其序號與關節的對應如下：

1號關節到3號關節對應大拇指從下至上三個關節；

4號關節到6號關節對應食指從下至上三個關節；

7號關節到9號關節對應中指從下至上三個關節；

10號關節到12號關節對應無名指從下至上三個關節；

13號關節到15號關節對應小指從下至上三個關節。

4.根據權利要求3所述的多模態手勢的識別方法，其特征在于：所述對采集到的數據進行預處理得到手勢的曲線的操作包括：

將靜態手勢作為不同關節處于靜止狀態時的動態手勢；

采用最小二乘法將每個手指關節的角度變化數據擬合為一條曲線；

將手部質心的坐標變化數據在三維坐標的X、Y、Z三個方向上分別擬合為一條曲線；

所述手勢的曲線包括：針對靜態手勢和動態手勢的曲線、針對軌跡手勢的曲線；

將代表一種手勢的15個關節的曲線按照從1號關節到15號關節的順序依次連接形成所述針對靜態手勢和動態手勢的曲線；

將代表一種手勢的X、Y、Z三個方向上的曲線按照移動順序連接形成所述針對軌跡手勢的曲線。