[發明專利]手勢識別方法及裝置、存儲介質、電子設備

有效

• 申請號: 202110951961.0
• 申請日: 2021-08-19
• 公開（公告）號: CN113408502B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 錢程浩;黃雪峰;熊海飛
• 申請（專利權）人: 深圳市信潤富聯數字科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 深圳智匯遠見知識產權代理有限公司 44481
• 代理人: 蔣學超

1.一種手勢識別方法，其特征在于，包括：

獲取待識別的手勢圖片；

將所述手勢圖片依次輸入多層特征提取網絡，并采用所述多層特征提取網絡輸出的多張第一類特征圖生成多張不同尺寸的第二類特征圖；

基于所述多張第二類特征圖采用多尺度檢測模塊輸出手勢類別信息和手勢關鍵點信息；

其中，將所述手勢圖片依次輸入多層特征提取網絡包括：將所述手勢圖片輸入第一特征提取網絡，得到第一尺寸的第一特征圖；將所述第一特征圖輸入第二特征提取網絡，得到第二尺寸的第二特征圖；將所述第二特征圖輸入第三特征提取網絡，得到第三尺寸的第三特征圖；其中，所述第一尺寸大于所述第二尺寸，所述第二尺寸大于所述第三尺寸；采用所述多層特征提取網絡輸出的多張第一類特征圖生成多張不同尺寸的第二類特征圖包括：采用所述第三特征圖和所述第二特征圖生成第二尺寸的第四特征圖，采用所述第二特征圖和所述第一特征圖生成第一尺寸的第五特征圖；將所述第三特征圖，所述第四特征圖，所述第五特征圖輸出為所述多張不同尺寸的第二類特征圖；

其中，基于所述多張第二類特征圖采用多尺度檢測模塊輸出手勢類別信息和手勢關鍵點信息包括：針對N張第二類特征圖中的每張第二類特征圖，將所述第二類特征圖輸入多尺度檢測模塊，輸出M個不同尺寸的第三類特征圖，其中，每張第二類特征圖對應一個多尺度檢測模塊，M為所述多尺度檢測模塊的尺度數量；針對所述多張第二類特征圖中的每張第二類特征圖的M個第三類特征圖，將M個第三類特征圖進行尺寸對齊，生成最大尺寸的識別圖片；采用所述識別圖片生成手勢類別信息和手勢關鍵點信息，其中，所述手勢類別信息用于表征所述手勢圖片所表征的語義文本，所述多尺度檢測模塊由一個3x3卷積模塊，兩個3x3卷積模塊，三個3x3卷積模塊組成，三個模塊的感受視野分別是3x3，5x5，7x7，其中，所述感受視野用于 表示輸出特征圖上像素點映射在輸入圖片上的大小。

2.根據權利要求1所述的方法，其特征在于，

采用所述第三特征圖和所述第二特征圖生成第二尺寸的第四特征圖包括：

對所述第三特征圖進行上采樣至所述第二特征圖一樣的尺寸；

對上采樣后的第三特征圖與所述第二特征圖進行矩陣加和，得到第四特征圖；和/或，

采用所述第二特征圖和所述第一特征圖生成第一尺寸的第五特征圖包括：

對所述第二特征圖進行上采樣至所述第一特征圖一樣的尺寸；

對上采樣后的第二特征圖與所述第一特征圖進行矩陣加和，得到第五特征圖。

3.根據權利要求1所述的方法，其特征在于，與N張第二類特征圖分別對應的N個多尺度檢測模塊均是相同的多尺度檢測模塊，每個多尺度檢測模塊均包括一個3x3卷積因子，兩個3x3卷積因子，三個3x3卷積因子。

4.根據權利要求1所述的方法，其特征在于，將M個第三類特征圖進行尺寸對齊，生成最大尺寸的識別圖片，包括：

將第六特征圖和第七特征圖分別進行上采樣處理至第六尺寸，其中，M=3，M個第三類特征圖包括：第四尺寸的第六特征圖，第五尺寸的第七特征圖，第六尺寸的第八特征圖，第六尺寸大于第五尺寸，第五尺寸大于第四尺寸；

將上采樣處理后的第六特征圖，上采樣處理后的第七特征圖，以及所述第八特征圖輸出為識別圖片。