[發明專利]一種基于形態學的近景手勢識別方法

有效

• 申請號: 201810460615.0
• 申請日: 2018-05-15
• 公開（公告）號: CN108875579B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 殷春平;王德鑫;廖采瑩;董一巍;尤延鋮
• 申請（專利權）人: 廈門大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06N3/04
• 代理公司: 北京紐盟知識產權代理事務所(特殊普通合伙) 11456
• 代理人: 許玉順

本發明旨在提出一種基于形態學的近景手勢識別方法。首先采集RGB彩色圖像和深度圖像，利用haar特征檢測器，獲取彩色圖中的手部掩碼box1；依次根據RGBD對齊原理、一階差分和閾值處理獲得分割后手部區域的RGBD圖，并裁剪下感興趣區域ROI得到手部掩碼box3；再對手部掩碼box3求解最大內切圓，通過內切圓的幾何參數估計掌部大小與掌心位置；設計坐標淘汰機制提取指端區域和指端數N，并根據N的值選擇提前訓練好的CNN分類模型，對手勢進行分類，得到最終手勢類型。該方法在識別手部區域過程中特別地設計了一種坐標淘汰機制和一種新型的科學的圖像卷積算子，該算子具有旋轉不變性，能對近景的復雜手勢進行快速識別。

技術領域

本發明涉及手勢識別的算法。更詳細的說，是一種基于形態學的近景手勢識別方法，并且提出了實現該方法加速計算的具體辦法。

背景技術

隨著計算機的廣泛應用，人機交互已成為人們日常生活中的重要部分。人機交互的最終目標是實現人與機器自然地交流，因此手勢識別研究順應了人們生活發展需要。目前，手勢識別也已經應用在各個領域，例如視頻直播、機器人和AR等領域。然而由于手勢本身具有多樣性、多義性以及時間和空間上的差異性等特點，同時人手的復雜性以及視覺本身的不適定性，導致手勢識別成為一門多學科交叉的研究課題。

通常運用在手勢識別的算法主要有以下三種：

1、skeleton算法。適用于剛性、自由度低的物體，對于手部這種具有較多自由度的物體不能準確識別；

2、poly算法。能得出手勢的幾何模型，但由于算法簡單，僅僅使用圖像輪廓求凸集來等效求解手指個數，魯棒性差，不適合在復雜環境下使用。而且當手指距離較近時不能準確識別每根手指，手勢識別效果不理想；

3、完全依賴深度學習識別的方法。該算法得到的手勢識別精度較高，但計算時占用內存多，運行時間長，硬件成本高。

所以，以上三種方法都存在弊端：skeleton算法和poly算法并不適合用于手勢識別；深度學習方法適合手部識別，但對硬件的要求較高，目前不適合嵌入型的實時性手部識別的運算。

[發明內容]

本發明的目的在于克服現有技術的不足，提出了一種基于形態學的近景手勢識別方法。該方法在識別手部區域過程中涉及一種有效合理的坐標淘汰機制，包含一種新型的科學的圖像卷積算子，該算子具有旋轉不變性，能對近景的復雜手勢進行快速識別，濾波能力強，解決了現有算法難以識別合并手指等難題。

利用設計的坐標淘汰機制，得出一種行之有效的手部識別方案，步驟如下：

1)獲取手部掩碼：采集RGB彩色圖像和深度圖像，利用haar特征檢測器，獲取彩色圖中的手部掩碼box1；

2)掩碼RGBD配準：根據RGBD對齊原理，將手部掩碼box1轉化為與RGBD配準后的手部掩碼box2；

3)去除背景：利用深度信息，對手部掩碼box2使用一階差分閾值處理去除背景，并裁剪下感興趣區域ROI，獲得分割區域中更精確的手部掩碼box3；

4)初步估計掌心參數：對手部掩碼box3求解最大內切圓，獲得圓心的坐標（）和半徑，即估計的掌心位置與掌部大小；

5)進行投票淘汰篩選，對手部掩碼box3中的所有坐標進行投票，淘汰非手指區域，初步確定手指區域，說明如下：

a)總體思路：若手部掩碼box3中某坐標點通過投票得分越高，則表示該點越有可能是非手指上的坐標點，越應該被淘汰，根據所有點經投票的最終得分準確判斷手部掩碼box3中代表手指的坐標點集合和非手指的坐標點集合；

b)定義座位：設置一個長為2b+1、寬為2b+1的卷積窗口；該卷積窗口有K個座位；