[發明專利]一種基于計算機視覺的運動手勢檢測及跟蹤方法

在審

• 申請號: 201611266701.5
• 申請日: 2016-12-31
• 公開（公告）號: CN108268125A
• 公開（公告）日: 2018-07-10
• 發明（設計）人: 鐘鴻飛;覃爭鳴;楊旭
• 申請（專利權）人: 廣州映博智能科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出一種基于計算機視覺的運動手勢檢測及跟蹤方法，包括以下步驟：S1圖像預處理，對攝像頭捕獲的手勢圖像進行預處理；S2加速度及角度計算，計算圖像中像素點的加速度及角度變化；S3光照平衡，使用直方圖均衡化對光照變化進行補償；S4手勢檢測，使用膚色模型對人手部分圖像進行檢測；S5手勢輪廓查找，使用連通區域尋找人手輪廓；S6手勢過濾，通過指尖點、掌間點的定位實現非手勢部分過濾；S7運動手勢檢測，利用均值漂移方法，在窗體內迭代尋找運動的手勢圖像。

技術領域

本發明涉及人機交互領域，具體涉及一種基于計算機視覺的運動手勢檢測及跟蹤方法。

背景技術

為了幫助殘疾人/老年人保持與外界的交流、溝通，提高他們的獨立生活能力，減輕家庭、社會的負擔，世界各地許多科學家們開始探索研究新型的人機交互方式。所謂交互技術包括人與執行機構(如機器人等)的交互和執行機構與環境的交互。前者的意義在于可由人去實現執行機構在未知或非確定環境中難以做到的規劃和決策；而后者的意義在于可由機器人去完成人所不能達到的惡劣環境或遠距離環境中的作業任務。

傳統的人機交互設備主要有鍵盤、鼠標、手寫板、觸摸屏、游戲控制器等，這些設備利用使用者的手部運動來實現人機交互的功能。手勢交互支持更多更自然的交互方式，提供了以人為中心而不是以設備為中心的交互技術，從而使用戶將注意力集中在本來該做的事情以及內容上而不是集中在設備上。

常見的手勢交互技術分為基于數據手套傳感器的手勢交互技術和基于計算機視覺的手勢交互技術兩種。

基于數據手套傳感器的手勢交互技術，需要用戶佩戴數據手套或者位置傳感器等硬件設備，利用傳感器采集手指狀態及運動軌跡等信息，從而進行運算處理讓計算機識別手勢動作，實現各種交互控制。此方式優點在于識別精準魯棒性能好、算法相對簡單、運算數據少且快速、可以精準獲取手的立體空間動作，完全沒有視覺系統的環境光照變化和背景復雜等問題干擾。缺點在于設備穿戴復雜、成本高、用戶操作使用不便且手勢動作受一定約束限制，因此難以大量投入實際生產使用。

基于計算機視覺的手勢交互技術通過機器視覺對攝像頭采集到的手勢圖像序列處理識別，從而和計算機進行交互，這種方法使用攝像頭采集手勢信息，然后利用膚色模型對人手部分進行分割，從而實現手勢檢測和識別，最后使用幀間差法實現運動手勢的跟蹤。該方法的效果取決于膚色模型的準確率，然而人的皮膚顏色不一，難以得到通用、高效的膚色模型；此外，當人手運動速度不均勻時，采用幀間差法跟蹤手勢會出現中斷現象，從而丟失被跟蹤手勢。

發明內容

本發明目的在于克服現有技術的不足，尤其解決現有基于計算機視覺的手勢交互技術中，難以對顏色不一的膚色建立通用、高效的膚色模型，幀間差法運動跟蹤出現中斷現象的問題。

為解決上述技術問題，本發明提出一種基于計算機視覺的運動手勢檢測及跟蹤方法，主要步驟包括：

S1圖像預處理，對攝像頭捕獲的手勢圖像進行預處理；

S2加速度及角度計算，計算圖像中像素點的加速度及角度變化；

S3光照平衡，使用直方圖均衡化對光照變化進行補償；

S4手勢檢測，使用膚色模型對人手部分圖像進行檢測；

S5手勢輪廓查找，使用連通區域尋找人手輪廓；

S6手勢過濾，通過指尖點、掌間點的定位實現非手勢部分過濾；

S7運動手勢檢測，利用均值漂移方法，在窗體內迭代尋找運動的手勢圖像。

進一步地，所述步驟S1圖像預處理操作包括：圖像灰度化、圖像平滑、圖像二值化操作；