[發明專利]一種基于3D卷積神經網絡的動態手勢識別方法

在審

• 申請號: 202111467938.0
• 申請日: 2021-12-03
• 公開（公告）號: CN114155604A
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 劉杰;王月;王鵬
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于3D卷積神經網絡的動態手勢識別方法。其方案是：（1）對公開的動態手勢數據集進行預處理；（2）將R（2+1）D?18網絡增加跳殘差結構；（3）將R（2+1）D?18網絡提取的淺層特征與深層特征相融合；（4）對改造的R（2+1）D?18網絡進行訓練和測試。本發明解決了現有動態手勢識別網絡中相鄰卷積層的特征信息缺乏關聯性的問題以及對淺層特征信息挖掘利用不夠的問題，提高了動態手勢分類準確率，實現了對動態手勢的識別，可應用于人機交互、虛擬現實等領域，為人們帶來便利。

技術領域

本發明涉及機器視覺領域，具體為一種基于3D卷積神經網絡的動態手勢識別方法。

背景技術

隨著機器學習和深度學習的不斷發展，動態手勢識別成為計算機視覺、物聯網和人工智能等領域的研究熱點，對智慧醫療、智能家居等行業有重要作用。

動態手勢識別方法主要有：基于手工提取特征的動態手勢識別方法和基于深度神經網絡學習特征的動態手勢識別方法?；谑止ぬ崛√卣鞯膭討B手勢識別方法根據不同場景的要求提取相應的特征，最終利用分類器將分類結果輸出，但是受環境的影響較大，且需要人工提取手勢動作圖像特征，工作量大，耗費時間；基于深度神經網絡學習特征的動態手勢識別方法從數據中自動學習目標特征，輸入一段視頻，通過神經網絡完成對視頻中動態手勢特征的提取，避免了手工提取特的過程。

現有基于深度學習的動態手勢識別方法中所設計的神經網絡結構復雜，容易產生梯度爆炸以及梯度消失的問題；同時，現存網絡往往注重高層的語義信息的利用，對淺層特征信息挖掘利用不夠。

為解決上述問題，本發明提出一種基于3D卷積神經網絡的動態手勢識別方法，利用公開的動態手勢數據集來訓練和測試所設計的神經網絡；針對目前神經網絡結構復雜，相鄰卷積層的特征信息缺乏關聯性，易產生梯度爆炸或者梯度消失，以及對淺層特征信息挖掘利用不夠的問題，在R(2+1)D-18網絡的基礎上增加一個跳殘差結構，以及將R(2+1)D-18網絡的淺層特征與深層特征相融合，提高手勢識別精度。

發明內容

1、本發明的目的

本發明為了提高識別精度，提供了一種基于卷積神經網絡的手勢識別方法。

2、本發明所采用的技術方案

本發明提出的一種基于卷積神經網絡的動態手勢識別網絡方法，通過以下步驟實現：

(1)對公開的動態手勢數據集進行預處理：

(1-1)幀截取：對公開動態手勢數據集的每一個動作視頻以原始的幀速率進行幀采樣，確保一個動作視頻提取出的動作圖像不少于16幀；

(1-2)數據標定：動態手勢數據集的動作一共為N類，標簽分別標記為1到N，動態手勢視頻一共有M個；其中M1個視頻進行幀提取后的動作圖像作為訓練數據，剩余的M2個視頻進行幀提取后的動作圖像作為測試數據；

(1-3)圖像裁剪與數據增強：將尺寸不一的動作圖像統一裁剪成尺寸為112X112的圖像，然后進行隨機水平或垂直翻轉，將動作圖像的RGB數據進行平均歸一化；

(2)將R(2+1)D-18網絡增加跳殘差結構：

增加跳殘差結構：R(2+1)D-18網絡結構包括一個時空卷積層，四個殘差層，一個平均池化層以及一個全連接層，其中，每個殘差層包含兩個殘差塊，每個殘差塊包含兩個時空卷積層；將以上結構中的第一個時空卷積層和第三個殘差層之間增加一個跳殘差結構；

(3)將R(2+1)D-18網絡提取的淺層特征與深層特征相融合：

(3-1)提取第一個殘差層的特征：在R(2+1)D-18網絡中的第一個殘差層后新增一個分支，連接一個時空卷積層，一個批歸一化層，一個平均池化層，一個全連接層，提取淺層特征；