[發明專利]一種基于深度殘差網絡的手勢識別方法

在審

• 申請號: 201710174418.8
• 申請日: 2017-03-22
• 公開（公告）號: CN106991386A
• 公開（公告）日: 2017-07-28
• 發明（設計）人: 謝益峰;顏成鋼;王雁剛;邵碧堯;項露萱
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01;G06K9/62;G06K9/46;G06N99/00
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙)33240
• 代理人: 杜軍

技術領域

本發明涉及圖像處理、物體檢索領域，尤其涉及一種基于深度殘差網 絡的手勢識別方法。

背景技術

目前，基于視覺的手勢交互已經被國內外廣泛的研究，但由于手勢本 身所具有的多義性、時空差異性以及手的高緯度、多自由度及視覺問題本 身的不適應性，基于手勢識別的人工交互平臺一直是一個固有挑戰性的研 究課題。該課題主要解決的核心點在于對手的形狀的識別和對手勢的跟蹤。 在傳統方法上主要有兩個方向：(1)基于隱馬爾可夫鏈的方法：GRobel 從帶顏色手套的飾演者的記錄視頻中提取特征，采用隱馬爾夫模型(Hidden Markov Model,HMM)識別了261個鼓勵測繪，其正確率達到了91.3％；(2) 基于幾何特征的手勢識別。但這兩種方法和之后所衍生出來的一些其他算 法都極大程度上依賴于計算機的處理能力，而且在數據的擬合上存在很大 的問題，同時很難達到對于大數據的信息源進行處理。

由于手具有高度時空性，以及手勢變換種類十分復雜，因此在訓練過 程中網絡結構的好壞在很大程度上決定了訓練出來的網絡模型對于手勢的 識別精度。在人工智能迅速發展的今天，大部分人都采用深度學習中的CNN 或者RCNN來對手勢識別進行改進，在一定程度上提升了準確率。但隨著 CNN網絡的發展，尤其是VGG網絡的提出，在網絡層數增加到一個臨界 點后梯度消失或彌散問題隨之而來，與此同時網絡精度達到飽和后迅速下 降。

發明內容

本發明的目的是提供一種基于深度殘差網絡的手勢識別方法，該方法 能有效解決梯度彌散和網絡精度問題，同時對于精度下降的問題有效的進 行了遏制，降低了深度網絡的訓練難度，極大的提升了手勢識別的精度， 為之后手勢識別甚至圖像檢測、物體識別領域提供了一種新的解決方法； 同時該方法通過輸入多維數據，以保證手勢識別的精確度，而且對于輸入 數據以及數據格式的普適性更加強大，有效解決了輸入的手勢數據只能為1 維的局限。

為達上述目的，本發明所采用的技術方案為：

一種基于深度殘差網絡的手勢識別方法，其步驟包括：

步驟1.獲取手勢的原始數據信息，并將其進行N點標記得到2N維的 原始標簽數據；其中N≥1；

步驟2.對上述原始數據信息及2N維的標簽數據進行預處理；

步驟3、將上述預處理后的原始數據信息與轉化為hdf5格式的2N維的 的原始標簽數據作為原始訓練數據，輸入到深度殘差網絡中訓練網絡參數， 得到手勢識別模型；

步驟4、將待識別手勢數據做與步驟1)相同的N點標記得到2N維的 待識別標簽數據；

步驟5、對上述待識別手勢數據及2N維的標簽數據進行預處理，并將 預處理后的手勢數據與轉化為hdf5格式的2N維的待識別標簽數據，輸入 到上述手勢識別模型中進行識別，得到識別結果。

進一步地，所述手勢的原始數據信息與所述待識別手勢數據是指收集 的各類手勢圖片。

進一步地，所述原始數據信息、2N維的原始標簽數據、待識別手勢數 據和2N維的待識別標簽數據進行預處理，包括圖像正則化、先驗條件約束、 數據格式及對應圖像轉換操作。

進一步地，所述的預處理是指利用matlab將手勢圖片的大小進行歸一 化。

進一步地，步驟3)中所述的構建的深度殘差網絡具體如下：

所述的深度殘差網絡訓練時采用自下上升的監督學習方式，具體包括 一輸入層、一初始卷積層、多個殘差模塊、一全連接層和一輸出層；

所述初始卷積層用于對輸入的原始訓練數據進行卷積；

所述多個殘差模塊用于提取上述卷積后的數據的卷積特征；

所述全連接層包括多個節點，用于將上述卷積特征進行分類。

更進一步地，所述每個殘差模塊在一開始分為一條主徑和一條捷徑， 并在結束時重新疊加整合。

更進一步地，在第一個殘差模塊前存在一個max-pooling(最大池化) 操作，用于壓縮維度，減小卷積層數誤差造成估計均值的偏移，更多的保 留紋理信息，提高模型的泛化能力；

在所述全連接層之后存在一mean-Pooling(平均池化)操作，以降低鄰 域大小受限造成的估計值方差增大所造成的的影響。

更進一步地，在每個殘差模塊中的每個卷積層和池化層之后存在Batch Normaliztion(批歸一化)操作，以使提取后的特征均值為0，方差為1。

與現有技術相比，本發明具有以下特點：