[發明專利]一種基于深度殘差網絡的手勢識別方法

在審

• 申請號: 202010110942.0
• 申請日: 2020-02-21
• 公開（公告）號: CN111444764A
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 張浩川;謝勝利;孫為軍
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/32;G06N3/04
• 代理公司: 廣東廣信君達律師事務所 44329
• 代理人: 陳勝杰

為了解決現有技術中的手勢識別需要的條件較多、模型的計算量較大的問題，本發明提出了一種基于深度殘差網絡的手勢識別方法包括以下步驟：S1.采集視頻數據，將人的手部作為檢測目標進行目標檢測，并將檢測到的人的手部作為圖像進行存儲；S2.根據S1步驟采集到的人的手部圖像獲得手部位置坐標，再通過基于深度殘差網絡的關節識別模型進行手勢關鍵點檢測，得到手部關鍵點坐標；S3.將S2步驟獲得的手勢關鍵點坐標輸入到SoftMax分類器進行分離，得到各種手勢的分類，最終識別手勢。本發明識別手勢的速度相比其他方案更快。

技術領域

本發明涉及手勢識別技術領域，特別涉及一種基于深度殘差網絡的手勢識別方法。

背景技術

手勢識別這個術語指的是跟蹤人類手勢、識別其表示和轉換為語義上有意義的命令的整個過程。手勢識別的研究旨在設計和開發可以將用于設備控制的手勢識別為輸入并且通過將命令映射為輸出的系統。一般而言，從手勢交互信息采集的途徑是接觸式還是非接觸式的，可將手勢交互系統劃分為基于接觸式的傳感器和基于非接觸類的傳感器的兩類。

基于接觸式傳感器的手勢識別通常基于使用多個傳感器的數據手套、加速度計、多點觸摸屏等技術。2004年，Kevin等人設計了一種用于手勢識別的無線儀器手套。2008年，北京航空航天大學的任程等人用頭盔和數據手套研究了虛擬現實系統中的虛擬手。2015年，山東師范大學的呂蕾等人研究了基于數據手套的靜態手勢識別方法，能識別25種手勢，正確率達98.9％。2007年，Bourke等人提出了一種用加速度計來檢測在我們的日常活動中使用的正常手勢的識別系統。2017年，電子科技大學的王琳琳等人研究了基于慣性傳感器的手勢交互方法，準確率達96.7％。2014年，中國科學院大學的薛姣等人研究了一種基于觸摸屏的手勢遙控系統，平均識別率達99％。

基于非接觸式傳感器的手勢識別通常基于使用光學傳感、雷達探測等技術。2002年，提出了使用攝像頭采集多尺度顏色特征的手勢識別。2010年，清華大學的沙亮等人研究了基于無標記全手勢視覺的人機交互技術，提出了一種使用通用攝像頭的車載手勢視覺交互系統的解決方案，復雜環境識別率達80％。2011年，微軟公司公布了Kinect，該攝像頭可以借助紅外線來識別手勢運動。2015年，江南大學的姜克等人使用Kinect研究了基于深度圖像的3D手勢識別，識別率達76.6％。2015年，谷歌ATAP部門公布了Project Soli，該項目采用微型雷達來識別手勢運動，可以捕捉微小動作。

雖然現有技術在不同的手勢數據集上實現了較為準確的識別，但是仍然存在以下不足：(1)預處理和特征提取的一些關鍵參數需要憑人工經驗設定。(2)對于各種環境下的手勢，僅僅依靠某一獨立的特征進行手勢識別往往并不能夠滿足手勢識別的要求。

人機交互技術正逐步從以計算機為中心轉變為以人為中心，手勢識別作為一種重要的人機交互方式受到廣泛的關注。手勢識別技術是最早通過可穿戴感應手套傳感器獲取手指的彎曲程度和手部的活動狀態來判斷用戶的手勢操作。這種技術需要佩戴專門的設備，成本高且交互方式不夠自然，已逐漸被圖像識別技術所取代。

傳統圖像識別技術通過圖像的邊緣、明亮程度、色彩等特征來分析辨別手勢類型，容易受光線變換、遮擋盲區及復雜背景等因素影響，算法魯棒性低。隨著2006年深度學習的提出，基于深度學習的手勢識別技術因其較低的硬件需求、更快的識別速度以及更高的識別精度成為研究熱點。由于人手是復雜的變形體，手勢具有多樣性、多義性以及時間上的差異等特點，基于深度學習的手勢識別技術目前也存在一些難點。