[發明專利]基于卷積神經網絡的數字手勢識別方法

在審

• 申請號: 201910147442.1
• 申請日: 2019-02-27
• 公開（公告）號: CN110046544A
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 張國山;趙陽
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

本發明涉及一種基于卷積神經網絡的數字手勢識別方法，包括下列步驟：利用Kinect深度相機采集10類數字的手勢圖像，對手勢圖像進行濾波處理；利用濾波后的圖像建立各數字手勢表征的樣本集，方法如下：對濾波后的手勢圖像進行形態學預處理；分類標記圖像信息，獲得各數字手勢表征的樣本集，并分類制成訓練集和測試集；構建卷積神經網絡—CNN；輸入訓練樣本集，提取圖像特征，進行分類訓練；利用訓練后的卷積神經網絡識別測試數據集里的圖像。

技術領域

本發明涉及深度學習、圖像處理領域，具體涉及一種基于卷積神經網絡(CNN)的手勢識別。

背景技術

手勢識別一直是一個熱門的研究課題，數字手勢識別要解決數據的采集、圖像的處理及 選擇、輸入樣本表達的選擇、模式識別分類器的選擇，以及基于樣本集對識別器進行有監督 的訓練等諸多問題。

手勢是人與人溝通、交流中不可分割的一部分,而手勢識別技術也開辟了人類與機器、 設備或電腦間互動的嶄新局面.隨著科技的發展,手勢識別技術已經從借助外界輔助設備的 數據手套時代發展到基于計算機視覺的模式分類階段.目前流行的基于視覺的手勢識別分 為分割、特征提取和識別3個階段.手勢分割是手勢識別的基礎,目標是從背景復雜的圖像 中分割出手勢.由于膚色在色彩空間中有一定的聚類特性,目前絕大多數的手勢分割方法都 是利用膚色的顏色特征(YUV,HSV,YCbCr等)或幾何特征(如橢圓模型、圖模型)完成.。目前 研究的主要方向是：目前的研究工作都是將手勢檢測和識別分開進行，在識別技術不斷求精 的基礎上，如何將應用數學形態學、神經網絡算法、遺傳算法的新技術運用到手勢識別當中。

手勢識別研究的最大難點在于：數據處理階段系統將攝像頭采集的視頻進行幀分離處 理，把單一手勢圖像從視頻幀中分離出來，并對數據作平滑、銳化等預處理。然后檢測是否 有手勢圖像，如果檢測出手勢圖像，則將手勢圖像與背景進行分離處理。手勢分析階段對手 勢進行特征檢測，再用選定的手勢模型來估算出

相應特征參數。識別分類階段通過特征提取與模型參數估計，利用各分類算法將參數空 間中的點或軌跡分類到不同的子空間中，最后將識別信息轉化為特定含義供實際應用使用。 光照和像素等的影響都會對識別系統的正確率帶來不同程度的影響。而Kinect深度圖像與 環境光照和陰影無關，像素點能夠清晰地表達景物的表面幾何形狀，Kinect深度相機是微軟 為其Xbox360游戲主機和Windows平臺PC打造的一款運動感知輸入設備，作為一款體感 外設，它實際上是一個采用全新空間定位技術(Light Coding)的3D體感攝像頭，Kinect 有三個鏡頭，中間的鏡頭是RGB彩色攝影機，左右兩邊鏡頭則分別為紅外線發射器和紅外 線CMOS攝影機所構成的3D深度感應器。利用即時動態捕捉、影像辨識、麥克風輸入、 語音辨識、社群互動等功能，允許玩家使用身體姿勢和語音命令通過自然用戶界面技術與 Xbox 360交互。

作為計算機智能接口的重要組成部分，數字手勢識別具有重要的意義，該技術的完善可 以大大提高計算機的使用效率，是辦公自動化、智能家居、機器人交互控制等領域未來最理 想的輸入方式。目前，手勢識別存在問題主要體現在三個方面：1)數據集的采集問題；2) 手勢圖像的預處理問題，如何準確地將圖片中的手勢位姿檢測分離出來，是圖像檢測問題中 的主要的方面；3)將數字手勢識別和神經網絡結合起來，使識別效果達到最佳。

發明內容

本發明的目的是提供一種識別效果更佳的基于卷積神經網絡的數字手勢自動識別方法。 技術方案如下：

一種基于卷積神經網絡的數字手勢識別方法，包括下列步驟：

(1)利用Kinect深度相機采集10類數字的手勢圖像，對手勢圖像進行濾波處理；利用濾波后的圖像建立各數字手勢表征的樣本集，方法如下：對濾波后的手勢圖像進行形態學 預處理；分類標記圖像信息，獲得各數字手勢表征的樣本集，并分類制成訓練集和測試集；

(2)構建卷積神經網絡—CNN：