[發明專利]一種3D手勢識別方法、裝置及系統

在審

• 申請號: 202011487530.5
• 申請日: 2020-12-16
• 公開（公告）號: CN112507924A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 黃歡;史偉蘭;全世紅;王健;鄧明育
• 申請（專利權）人: 深圳荊虹科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/34;G06K9/46;G06K9/62
• 代理公司: 深圳倚智知識產權代理事務所(普通合伙) 44632
• 代理人: 霍如肖

1.一種3D手勢識別方法，其特征在于，包括如下步驟：

S1，提取ToF相機的原始數據進行圖像預處理，生成第一圖像和第二圖像；

S2，根據預先建立的手勢檢測模型檢測第一圖像中是否具有手部生物特征：若存在，輸出具有手部生物特征區域的坐標位置，若不存在，返回S1步驟；

S3，根據預先建立的手勢識別模型提取第二圖像中對應手部坐標位置的手勢特征，計算手勢特征對應預定義手勢庫中每種手勢概率值；

S4，將全部手勢概率值進行歸一化處理生成一個手勢識別索引號，將手勢識別索引號與預定義手勢庫匹配，匹配內容輸出為識別結果。

2.根據權利要求1所述的3D手勢識別方法，其特征在于，所述S1步驟具體包括如下步驟：

S11，提取ToF相機的紅外數據進行圖像歸一化處理至8位，生成第一圖像；

S12，提取ToF相機中與紅外數據同步的點云數據進行圖像歸一化處理至8位，生成深度圖像；

S13，遍歷深度圖像的每一個像素點，取得最小像素值、計算平均像素值，將像素值在最小值和平均值的三分之一之間的像素點設置為255，將其余像素點設置為0，生成二值化掩膜圖像；

S14，將深度圖像與二值化掩膜圖像進行像素級加權平均融合處理生成第二圖像。

3.根據權利要求2所述的3D手勢識別方法，其特征在于，在S13步驟中，所述生成二值化掩膜圖像采用掩膜處理，能突出圖像中的興趣點區域，所述掩膜處理的表達式為：

其中k(i)為二值化掩膜圖像中的第i個像素點，h(i)為深度圖像的第i個像素點，min(h(x))為深度圖像中的最小像素點；mean(h(x))為深度圖像的平均像素點。

4.根據權利要求2所述的3D手勢識別方法，其特征在于，在S14步驟中，所述采用像素級平均加權融合處理得到第二圖像，能增強圖像中興趣點區域，識別精度高；

所述像素級平均加權融合處理的表達式為：

f(x)＝αh(x)+βk(x) ((α+β)≤1)

其中f(x)為融合后的第二圖像，h(x)為深度圖像，k(x)為深度圖像取掩膜后得到的二值化掩膜圖像，α和β為加權參數，且兩者之和必須小于等于1，即保證融合后第二圖像中每個像素值均小于等于255。

5.根據權利要求1所述的3D手勢識別方法，其特征在于，在S2步驟中，所述預先建立手勢檢測模型的步驟包括：

S21，采用適用于移動端的輕量級目標檢測網絡MobileNet-SSD為主干網絡；

S22，基于ToF相機成像目標大的特點，對所述主干網絡MobileNet-SSD進行優化，優化步驟包括：

S221，將MobileNet-SSD的6個檢測層中靠近輸入層負責較小目標的前兩個檢測層去除，從而縮短檢測耗時，在不降低識別精度的同時加快檢測速度；

S222，對MobileNet-SSD的模型參數進行量化，將激活層的函數Relu替換為Relu6，在不影響輸出值的同時控制了數值量級并保持網絡穩定性；所述Relu函數和Relu6函數的表達式分別為：

relu(x)＝max(x，0)∈[0，∞]

relu6(x)＝min(max(x，0)，6)∈[0，6]

6.根據權利要求1所述的3D手勢識別方法，其特征在于，在S3步驟中，所述預先建立手勢識別模型的步驟包括：

S31，采用能進行復合模型縮放提高運行速度的輕量級分類網絡EfficientNets為主干網絡；

S32，基于ToF相機成像目標大的特點，將EfficientNets輸入圖像的尺寸縮小為120*120大小，在不降低圖像手部區域精度的同時減少了計算量。