[發明專利]一種基于ShuffleNet-SSD的手勢識別方法及系統

在審

• 申請號: 202111650184.2
• 申請日: 2021-12-30
• 公開（公告）號: CN114419730A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 侯平智;王曉虎;彭圣仆;厲東北
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱亞冠

本發明公開一種基于ShuffleNet?SSD的手勢識別方法及系統。采集手勢圖像，將其轉換為固定尺寸，并對其進行標簽標注，并以訓練集與測試集一定比例構建數據集；構建ShuffleNet?SSD網絡模型；訓練ShuffleNet?SSD模型，并對其進行參數調整與優化；利用已經訓練好的ShuffleNet?SSD模型實現手勢的識別。本發明提出輕量級網絡框架代替VGG16框架，減少計算消耗資源。通過ShuffleNet網絡進行特征提取，提升識別精度，降低消耗資源。

技術領域

本發明屬于計算機視覺領域，主要涉及一種基于ShuffleNet-SSD的手勢識別方法及系統。

背景技術

手勢作為最符合人類習慣的交互方式，在虛擬仿真領域有著不錯的表現。隨著對交互體驗感越來越高的追求，也對應用于手勢交互中的手勢識別技術提出了更高的要求。

目前，基于深度學習的手勢識別方法主要分為兩類:：雙步算法和單步算法。雙步算法將識別過程分為兩個階段，首先產生候選區域，然后對候選區域分類，這類算法的典型代表是R-CNN系算法，如R-CNN，SPPNet，Fast R-CNN，Faster R-CNN，FPN，R-FCN等。單步算法不需要產生候選區域階段，它直接產生物體的類別概率和位置坐標值，經過單次檢測即可直接得到最終的檢測結果，因此有著更快的檢測速度，比較典型的算法如YOLO，SSD，Retina-Net。其中SSD是一種非常優秀的手勢識別方法，SSD算法使用VGG16網絡進行特征提取，該模型雖然有較好的表現，但結構臃腫、參數數量多，降低了模型檢測的速度。對于人機交互來說，由于空間、成本等限制以及對實時性的要求，需要進一步對SSD算法進行優化。

非最大抑制(Non-maximum suppression,NMS)是手勢識別中重要的組成部分。NMS算法首先按照得分從高到低對檢測框進行排序，然后分數最高的檢測框被選中，其他框與被選中框有明顯重疊的框被抑制。該過程被不斷遞歸的應用于其余檢測框。根據算法的設計，如果一個物體處于預設的重疊閾值之內，可能會導致檢測不到該待檢測物體。即當兩個目標框接近時，分數更低的框就會因為與之重疊面積過大而被刪掉。

發明內容

本發明的目的是針對現有技術的不足，提供一種基于ShuffleNet-SSD的手勢識別方法。

本發明包括以下步驟：

步驟(1)、采集手勢圖像，將其轉換為224*224的固定尺寸，并對其進行標簽標注，并以訓練集與測試集為9:1的比例構建數據集；

步驟(2)、構建ShuffleNet-SSD網絡模型；

ShuffleNet-SSD網絡包括特征提取網絡ShuffleNet、軟化非極大值抑制塊Soft-NMS；

作為優選，ShuffleNet網絡利用分組卷積以及通道亂序的思想，在小型網絡中具有良好的表現。分組卷積通過確保每個卷積操作僅作用于對應的輸入通道分組來大幅降低計算成本，通道亂序可使分組卷積從不同的組中獲取到輸入數據，避免了某個通道的輸出僅來自輸入通道的一小部分。ShuffleNet網絡中包含兩個單元，分別為步長為1的ShuffleNet單元和步長為2的ShuffleNet單元。

所述步長為1的ShuffleNet單元使用了一個1*1的分組卷積，接著進行通道亂序操作，之后進行一個3*3逐深度卷積，接下來第二個的分組卷積恢復通道維度。與此同時，在每個卷積層后都接一個BN層，第一個分組卷積之后除了BN層還需要一個ReLU函數。

所述步長為2的ShuffleNet單元在上述步長為1的ShuffleNet單元旁路上增加了3*3平均池化層，并將加操作替換為級聯操作，增加維度。

所述特征提取網絡ShuffleNet網絡結構，包括Conv1層、MaxPool層、Stage2層、Stage3層、Stage4層。