[發明專利]基于雙通路深度卷積神經網絡的動態手勢識別方法

有效

• 申請號: 201710990519.2
• 申請日: 2017-10-23
• 公開（公告）號: CN107808131B
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 羅陽星;徐向民;邢曉芬
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/40;G06K9/62;G06N3/04;G06T7/55
• 代理公司: 44245 廣州市華學知識產權代理有限公司
• 代理人: 林梅繁

本發明公開了基于雙通路深度卷積神經網絡的動態手勢識別方法，首先從深度攝像頭中采集動態手勢的深度圖像序列和彩色圖像序列，并進行預處理操作，得到動態手勢的深度前景圖像序列和彩色前景圖像序列；設計雙通路深度卷積神經網絡，將深度前景圖像序列和彩色前景圖像序列輸入雙通路深度卷積神經網絡，通過多級的深度卷積層和深度池化層，分別提取動態手勢在深度空間和彩色空間上的時域特征和空間特征，并把時域特征和空間特征融合后再輸入到softmax分類器；根據softmax分類器輸出的結果得到最終的手勢識別結果。本發明采用雙通路深度卷積神經網絡模型，提取并融合動態手勢彩色和深度空間上的特征，對動態手勢識別率有較大的提升。

技術領域

本發明屬于計算機視覺與機器學習的技術領域，具體涉及一種基于雙通路深度卷積神經網絡的動態手勢識別方法。

背景技術

手勢識別分為靜態手勢識別和動態手勢識別，相對于靜態手勢識別，動態手勢識別可以帶給我們更加豐富的交互方式和交互體驗。目前，動態手勢識別已經是計算機視覺領域的一個重要研究熱點，因為該技術可以應用到很多現實領域，如機器人導航、視頻監控、游戲等。盡管過去幾十年，業界在視覺動態手勢識別上投入大量的時間和精力，視覺動態手勢識別依然是一個充滿挑戰的研究方向。因為視覺動態手勢識別存在類目眾多，類別間差異性不明顯，手勢背景復雜以及手勢視覺上的差異(手勢動作、手勢操作時間、身體姿勢)等難點。目前視覺動態手勢識別的準確率還是比較低。

隨著Kinect、Real Sense等深度攝像頭的推出，越來越多的學者關注基于多種數據融合的視覺動態手勢識別，例如彩色(RGB)圖像序列和深度(depth)圖像序列，彩色(RGB)圖像序列和人體骨骼(Skeleton)數據。為了提取動態手勢在多種數據空間(例如RGB、Depth、Skeleton)上的特征信息，學者主要采用深度學習模型或者人工提取三維特征信息的方法。其中，深度學習模型有CNN+LSTM,3-D CNN+RNN,two-stream CNN等；人工提取三維特征方法有3-D Sparse Motion SIFT,3-D HOG,3-D enhanced motion SIFT(3D EMoSIFT)等。

人工提取三維特征的方法有很大的局限性，通常需要先驗知識、經驗和大量的手工調整，而且算法模型的識別率容易因為動態手勢操作速度、方向、手形大小的差異產生很大的影響。隨著各種深度學習模型(CNN,RNN,LSTM,3-D CNN等)的發展，深度學習模型的方法已經成為視覺動態手勢識別的主要工具。

發明內容

為了解決現有技術所存在的技術問題，本發明提出基于雙通路深度卷積神經網絡的動態手勢識別方法，通過雙通路深度卷積神經網絡提取動態手勢的深度和彩色時空特征，提高了視覺動態手勢識別的準確率。

本發明采用如下技術方案：基于雙通路深度卷積神經網絡的動態手勢識別方法，包括以下步驟：

S1、從深度攝像頭中采集動態手勢的圖像序列，包括深度圖像序列和彩色圖像序列；

S2、對深度圖像序列和彩色圖像序列進行預處理操作，得到動態手勢的深度前景圖像序列和彩色前景圖像序列；

S3、設計一個雙通路深度卷積神經網絡，其包括兩個深度卷積神經網絡；將深度前景圖像序列和彩色前景圖像序列輸入雙通路深度卷積神經網絡，通過多級的深度卷積層和深度池化層，分別提取動態手勢在深度空間和彩色空間上的時域特征和空間特征，并把時域特征和空間特征融合后再輸入到softmax分類器；

S4、根據softmax分類器輸出的結果得到最終的手勢識別結果。

優選地，步驟S2所述預處理操作包括：通過前后幀圖像像素相減的方法，得到前景圖像序列，代表動態手勢圖像序列中的運動信息；前景圖像序列通過中值濾波和先腐蝕后膨脹的形態學開操作處理，過濾前景圖像序列中的虛假運動像素點，從而得到真實穩定的前景圖像序列；然后通過等間距下采樣操作生成深度前景圖像序列和彩色前景圖像序列。