[發明專利]基于雙通路深度卷積神經網絡的動態手勢識別方法

有效

• 申請號: 201710990519.2
• 申請日: 2017-10-23
• 公開（公告）號: CN107808131B
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 羅陽星;徐向民;邢曉芬
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/40;G06K9/62;G06N3/04;G06T7/55
• 代理公司: 44245 廣州市華學知識產權代理有限公司
• 代理人: 林梅繁

1.基于雙通路深度卷積神經網絡的動態手勢識別方法，其特征在于，包括以下步驟：

S1、從深度攝像頭中采集動態手勢的圖像序列，包括深度圖像序列和彩色圖像序列；

S2、對深度圖像序列和彩色圖像序列進行預處理操作，得到動態手勢的深度前景圖像序列和彩色前景圖像序列；

S3、設計一個雙通路深度卷積神經網絡，其包括兩個深度卷積神經網絡；將深度前景圖像序列和彩色前景圖像序列輸入雙通路深度卷積神經網絡，通過多級的深度卷積層和深度池化層，分別提取動態手勢在深度空間和彩色空間上的時域特征以及動態手勢在深度空間和彩色空間上的空間特征，并把時域特征和空間特征融合后再輸入到softmax分類器；

S4、根據softmax分類器輸出的結果得到最終的手勢識別結果。

2.根據權利要求1所述的基于雙通路深度卷積神經網絡的動態手勢識別方法，其特征在于，步驟S2所述預處理操作包括：通過前后幀圖像像素相減的方法，得到前景圖像序列，代表動態手勢圖像序列中的運動信息；前景圖像序列通過中值濾波和先腐蝕后膨脹的形態學開操作處理，過濾前景圖像序列中的虛假運動像素點，從而得到真實穩定的前景圖像序列；然后通過等間距下采樣操作生成深度前景圖像序列和彩色前景圖像序列。

3.根據權利要求2所述的基于雙通路深度卷積神經網絡的動態手勢識別方法，其特征在于，所述通過前后幀圖像像素相減的方法得到前景圖像序列的計算公式如下：

Foregroundⁱ＝max(Imageⁱ-Image^i-1，0)

公式中，Foregroundⁱ為第i幀預處理后的前景圖像，max為按像素求最大值操作，Imageⁱ為第i幀輸入的彩色或深度圖像，Image^i-1為第i-1幀輸入的彩色或深度圖像。

4.根據權利要求2所述的基于雙通路深度卷積神經網絡的動態手勢識別方法，其特征在于，所述中值濾波的窗口大小為3*3。

5.根據權利要求1所述的基于雙通路深度卷積神經網絡的動態手勢識別方法，其特征在于，步驟S3所設計的雙通路深度卷積神經網絡中，每個深度卷積神經網絡都分別包括5個深度卷積層、5個深度池化層和2個全連接層；其中，深度卷積層的核大小為3*3*3，深度池化層采用2*2*2的最大值池化。

6.根據權利要求5所述的基于雙通路深度卷積神經網絡的動態手勢識別方法，其特征在于，所述深度前景圖像序列和彩色前景圖像序列均為16幀，所述每個深度卷積神經網絡的5層深度卷積層的特征圖數量分別為32、64、128、256、512。

7.根據權利要求5所述的基于雙通路深度卷積神經網絡的動態手勢識別方法，其特征在于，所述雙通路深度卷積神經網絡把時域特征和空間特征在最后一個全連接層進行列拼接融合后再輸入到softmax分類器。

8.根據權利要求1所述的基于雙通路深度卷積神經網絡的動態手勢識別方法，其特征在于，所述softmax分類器設有n個softmax單元，其中n為動態手勢的類別數。