[發明專利]基于卷積神經網絡的數字手勢識別方法

在審

• 申請號: 201910147442.1
• 申請日: 2019-02-27
• 公開（公告）號: CN110046544A
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 張國山;趙陽
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

1.一種基于卷積神經網絡的數字手勢識別方法，包括下列步驟：

(1)利用Kinect深度相機采集10類數字的手勢圖像，對手勢圖像進行濾波處理；利用濾波后的圖像建立各數字手勢表征的樣本集，方法如下：對濾波后的手勢圖像進行形態學預處理；分類標記圖像信息，獲得各數字手勢表征的樣本集，并分類制成訓練集和測試集；

(2)構建卷積神經網絡—CNN：

(2a)將各個類別的數字手勢圖像導入卷積神經網絡，作為inputs層，其大小為[320,320,3,59]；

(2b)構建8層卷積神經網絡，對輸入圖像的每個像素進行卷積、下采樣、池化等操作，得到每層的maps特征圖；

(2c)將每層的輸出作為下一層的輸入，經過前后8個層，最后匯聚于全連接fc層，通過輸出層softmax分類器輸出結果；

(3)輸入訓練樣本集，提取圖像特征，進行分類訓練；

(3a)采用softmax分類器，對圖像特征向量進行分類；

(3b)采用卷積神經網絡算法，對訓練樣本集進行訓練，得到訓練后的模型.mat文件；

(4)利用訓練后的卷積神經網絡識別測試數據集里的圖像。

2.根據權利要求1所述的方法，其特征在于，步驟(1)的濾波方法如下：基于聯合雙邊濾波器的深度圖像濾波算法，將Kinect鏡頭同一時刻采集的手勢圖像的深度圖像和彩色圖像作為輸入，用高斯核函數計算出深度圖像的空間距離權值和RGB彩色圖像的灰度權值，將這兩個權值相乘得到聯合濾波權值，設計聯合雙邊濾波器，用此濾波器的濾波結果與噪聲圖像進行卷積運算實現Kinect深度圖像濾波。