[發明專利]基于視頻數據特性的動態手勢識別方法、存儲介質和設備

有效

• 申請號: 202010501992.1
• 申請日: 2020-06-04
• 公開（公告）號: CN111680618B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 謝曉燕;趙歡;尹芍潤
• 申請（專利權）人: 西安郵電大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/762;G06V10/77;G06V10/764
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

1.一種基于視頻數據特性的動態手勢識別方法，其特征在于，包括以下步驟：

S1、從動態手勢編碼視頻碼流中獲取運動矢量；

S2、對步驟S1獲取的運動矢量進行閾值過濾，去除與手部運動無關的運動矢量特征，閾值結果T具體為：

其中，V為運動矢量的速度，n為一幀中有運動矢量的塊數量；

S3、將步驟S2過濾后的運動矢量進行方向量化；

S4、步驟S3得到量化方向角之后，使用k-means聚類算法將運動矢量按量化方向角聚為不同的簇；

S5、取方向角聚類簇樣本數量最多的2個簇作為主方向角聚類簇；

S6、采用主成分分析法對步驟S5聚類后的主方向角聚類簇均值進行數據維度處理，得到一幀運動矢量的運動趨勢e_t，通過一個擁有m幀運動矢量的動態手勢視頻構成一個主方向角聚類簇矩陣A，取最大的特征值λ_max對應的特征向量作為變換矩陣P，將主方向角聚類簇矩陣A與變換矩陣P點乘得到降維后的特征矩陣B，通過線性變換將主方向角聚類簇矩陣A變換為一組各維度線性無關的表示，得到一幀運動矢量的運動趨勢e_t；

S7、通過運動趨勢分類獲取動態手勢的時間特征，通過從動態手勢編碼視頻碼流中提取的首幀圖像對手型進行分類以獲取動態手勢的空間特征，融合運動趨勢和手型類別概率得到動態手勢的類別概率，將概率最大的類別作為預測得到的目標類別。

2.根據權利要求1所述的方法，其特征在于，步驟S3中，將方向信息轉換為0°、45°、90°、135°、180°、225°、270°、315°的8個量化角度，運動矢量量化后的角度aq為：

aq＝q←arctan(x÷y)

其中，x，y為運動矢量(x,y)的水平和垂直方向信息，q為運動矢量方向角最為趨近的一個量化方向角。

3.根據權利要求1所述的方法，其特征在于，步驟S4中，量化方向角的數量為區間[1,8]中的整數。

4.根據權利要求1所述的方法，其特征在于，步驟S7中，從運動矢量(x,y)中提取出運動趨勢特征，采用隨機森林分類器對動態手勢的運動趨勢e_t進行分類，得到e_t在類別C_t的運動趨勢類別概率P_t(C_te_t)。

5.根據權利要求4所述的方法，其特征在于，步驟S7中，采用ResNet-18作為手型分類的卷積神經網絡模型，通過卷積神經網絡對首幀圖像e_s分類得到動態手勢的手型類別概率P_s(C_se_s)。

6.一種存儲一個或多個程序的計算機可讀存儲介質，其特征在于，所述一個或多個程序包括指令，所述指令當由計算設備執行時，使得所述計算設備執行根據權利要求1至5所述的動態手勢識別方法中的任一方法。

7.一種識別設備，其特征在于，包括：

一個或多個處理器、存儲器及一個或多個程序，其中一個或多個程序存儲在所述存儲器中并被配置為所述一個或多個處理器執行，所述一個或多個程序包括用于執行根據權利要求1至5所述的動態手勢識別方法中的任一方法的指令。