[發明專利]一種連續手勢的快速識別分類方法及系統

有效

• 申請號: 202110229079.5
• 申請日: 2021-03-02
• 公開（公告）號: CN112818936B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 張旻晉;許達文
• 申請（專利權）人: 成都視海芯圖微電子有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/764;G06V10/80;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 林菲菲

1.一種連續手勢的快速識別分類方法，其特征在于，包括以下步驟：

步驟1：采集連續手勢的視頻幀數據，所述視頻幀數據包括多個不同的手勢模型；

步驟2：對所述多個不同的手勢模型分別進行初始特征提取，得到初始特征向量集，所述初始特征向量集包括多個不同的初始特征向量；

所述初始特征提取依次包括：卷積神經網絡操作和一維卷積操作；

步驟3：對所述多個不同的初始特征向量分別進行單模特征映射，得到適用于特征融合的顯著特征向量集，所述顯著特征向量集包括多個不同的顯著特征向量；

所述單模特征映射包括：一次一維卷積操作和多次擴張殘差操作；

所述擴張殘差操作包括：relu操作和一維卷積操作；

步驟4：對所述多個不同的顯著特征向量進行特征融合，得到融合特征向量；所述特征融合包括：

步驟4.1：針對顯著特征向量集，選擇出每個顯著特征向量中適用于特征融合的顯著特征單元，生成顯著子特征向量集；

步驟4.2：對顯著子特征向量集進行concat操作，得到顯著特征數據鏈；

步驟4.3：對顯著特征數據鏈進行矩陣乘法操作、relu操作和sigmoid操作，得到特征增強的融合特征向量；

步驟5：對所述融合特征向量進行多模特征映射，生成逐幀的手勢分類視頻。

2.根據要求1所述的一種連續手勢的快速識別分類方法，其特征在于，所述步驟2中，所述卷積神經網絡操作和一維卷積操作之后，依次包括：擴張卷積操作、激活操作、一維卷積操作和dropout操作。

3.根據權利要求1所述的一種連續手勢的快速識別分類方法，其特征在于，所述步驟3中，所述步驟所述relu操作之前，包括：擴張卷積操作；所述relu操作之后，依次包括：一維卷積操作和dropout操作。

4.根據權利要求1或2所述的一種連續手勢的快速識別分類方法，其特征在于，所述步驟4.3還包括：全局平均池化操作。

5.根據權利要求4所述的一種連續手勢的快速識別分類方法，其特征在于，所述多模特征映射的方法為：

步驟5.1：對所述融合特征向量依次進行擴張卷積操作、激活操作、一維卷積操作和dropout操作，得到手勢分類數據；

步驟5.2：對所述手勢分類數據進行一次一維卷積操作，生成逐幀的手勢分類視頻。

6.一種連續手勢的快速識別分類系統，其特征在于，包括：

數據接收模塊：用于接收采集到的連續手勢的視頻幀數據；

初始特征提取模塊，用于對視頻幀數據進行初始特征提取，得到初始特征向量集；

單模特征映射模塊，用于捕獲初始特征向量集中多個不同的初始特征向量的顯著特征，得到適用于特征融合的顯著特征向量集；

特征融合模塊，用于對顯著特征向量集中多個不同的顯著特征向量進行特征融合，得到融合特征向量；

多模特征映射模塊，用于對融合特征向量進行計算，生成逐幀的手勢分類視頻；

所述初始特征提取模塊包括：

卷積神經網絡操作執行單元、一維卷積操作執行單元A、擴張卷積操作執行單元A、激活操作執行單元A和dropout操作執行單元A；所述視頻幀數據依次經過卷積神經網絡操作執行單元A、一維卷積操作執行單元A、擴張卷積操作執行單元A、激活操作執行單元A和dropout操作執行單元A處理后，得到初始特征向量集；

所述單模特征映射模塊包括：

一維卷積操作執行單元B和擴張殘差操作執行單元，所述一維卷積操作執行單元B和擴張殘差操作執行單元對初始特征向量集進行協同處理，得到顯著特征向量集；

所述特征融合模塊包括：

特征選擇單元，用于選擇出每個顯著特征向量中適用于特征融合的顯著特征單元，生成顯著子特征向量集；

向量連接單元，用于將多個顯著子特征向量連接在一起，得到顯著特征數據鏈；

特征增強單元，用于對顯著特征數據鏈進行全局平均池化操作、矩陣乘法操作、relu操作、矩陣乘法操作和sigmoid操作，得到特征增強的融合特征向量；

所述多模特征映射模塊包括：

擴張卷積操作執行單元B、激活操作執行單元B、一維卷積操作執行單元C和dropout操作執行單元B和PE陣列單元；所述融合特征向量依次進行擴張卷積操作、激活操作、一維卷積操作、dropout操作和一維卷積操作，得到逐幀的手勢分類視頻；

所述擴張殘差操作執行單元包括：PE陣列子單元、激活操作執行子單元和dropout操作執行子單元，用于和一維卷積操作執行單元B一起對初始特征向量集進行數據處理，得到顯著特征向量集。