[發明專利]一種復雜背景下的手勢檢測與識別方法

在審

• 申請號: 202010548225.6
• 申請日: 2020-06-16
• 公開（公告）號: CN111680658A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 徐則中;游慶祥;史永;楊蘇潤;郭小川;楊慧;劉千葉
• 申請（專利權）人: 常州工學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46
• 代理公司: 南京知識律師事務所 32207
• 代理人: 王昊

本發明公開了一種復雜背景下手勢檢測與識別方法，包括以下步驟：圖像輸入，手勢分割，手勢形狀特征提取，手勢統計特征提取，手勢識別。本發明的方法不需要進行圖像降噪聲處理、不需要進行輪廓檢測、不需要進行形態學運算。直接運用圖像中的白色像素，基于Hough投票機制和線性擬合技術，實現手部區域的凸包提取，表示手勢的幾何形狀特征。根據手部區域像素的統計分布，計算統計屬性，提到手勢的統計特征。運用手部區域的幾何形狀特征和統計特征，識別手勢。本發明在噪聲條件下能夠精確提取手部區域的幾何形狀特征，對背景噪聲具有更好的魯秦棒性。

技術領域

本發明涉及圖像處理和模式識別領域，具體涉及一種基于視覺圖像的手勢檢測與識別方法，特別是一種手勢形狀特征提取方法。

背景技術

手勢識別作為一種新的人機交互方式，可以讓機器理解人的意圖與命令，越來越受到人們的重視。手勢檢測與識別涉及到數字圖像處理與模式識別等相關領域。作為一種更自然、便捷的人機交互方式，手勢識別廣泛用于虛擬現實、智能家居、游戲等領域。

典型的基于視覺的手勢識別系統，首先拍攝手勢圖像，然后分割手勢區域、提取手勢輪廓及形狀特征，最后識別手勢。相關的專利有：

【林志賢,郭太良,林金堂,姚劍敏,胡海龍，CN201510193655.X，一種在復雜背景以及光照下的單目手勢識別方法】【顧佳文,李澤民CN201910113909.0,一種基于手掌和手指特征的靜態手勢識別方法】首先提取手勢的外部輪廓，基于手勢輪廓特征識別手勢。【徐增敏,蔣英春,段雪峰,關健，CN201310123587.0，基于手輪廓特征的手勢識別控制方法和系統】以凸包缺陷面積為特征參數來識別抱拳和手掌，【鄒風山,徐方,姜楠,宋健,李邦宇,潘鑫CN201710520561.8，基于固定背景下的手勢識別方法及系統】基于手部輪廓的凸包模型識別人手的姿態，【韓濤,詹習生,張先鶴,吳杰,姜曉偉,CN201510534519.2，一種基于單目攝像頭的手勢凸包檢測與掌心定位方法】跟蹤手勢輪廓，然后檢測輪廓的凸包模型。

這些基于視覺圖像的手勢識別方法，首先檢測手部區域的輪廓，基于手勢輪廓提取凸包模型，用于表示手勢的形狀特征。但是，在實際應用環境中，復雜的場景和光照條件，給手手勢輪廓提取帶來困難；并且用Graham掃描法或者卷包裹法來提取凸包模型，對圖像噪聲非常敏感。

發明內容

針對現有技術中存在的問題，為了在復雜背景下檢測和識別手勢，解決背景噪聲干擾下手勢的凸包提取問題，本發明不做輪廓檢測，直接運用圖像中所有白色像素提取手勢形狀特征和統計特征，進而識別出手勢。

本發明提供了一個復雜背景下的手勢檢測與識別方法。運用Hough投票機制和線性擬合技術，實現噪聲條件下手勢的凸包提取，從而得到更加精確、魯棒的手勢形狀特征和手勢統計特征，實現手勢識別。

本發明的目的通過以下技術方案實現。

一種復雜背景下的手勢檢測與識別方法，包括以下步驟：

步驟1：圖像輸入；通過攝像頭采集手勢圖像，或者從文件中讀入手勢圖像；

步驟2：手勢分割；基于膚色特征從圖像中檢測手部區域，得到二值圖像；

步驟3：形狀特征提取；直接用白色像素構建手勢凸包模型，提取手部區域的幾何形狀特征；具體包括：

步驟3-1：投票；從圖像空間向Hough空間進行θ-ρ投票；

步驟3-2：搜索邊界單元格；在Hough空間，投票值非零的單元格形成條帶狀分布；在每個投票方向θ上，搜索條帶的上下邊界單元格；

步驟3-3：變換；對投票角θ和投票距離ρ進行變換：把邊界單元格數據從(θ,ρ)空間變換到(cotθ，ρ/sinθ)空間；