[發明專利]一種基于形態學的近景手勢識別方法

有效

• 申請號: 201810460615.0
• 申請日: 2018-05-15
• 公開（公告）號: CN108875579B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 殷春平;王德鑫;廖采瑩;董一巍;尤延鋮
• 申請（專利權）人: 廈門大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06N3/04
• 代理公司: 北京紐盟知識產權代理事務所(特殊普通合伙) 11456
• 代理人: 許玉順

1.一種基于形態學的近景手勢識別方法，通過坐標淘汰機制和具有旋轉不變性的圖像卷積算子確定手勢狀態，其特征在于具體包含以下步驟：

1)獲取手部掩碼：采集RGB彩色圖像和深度圖像，利用haar特征檢測器，獲取彩色圖中的手部掩碼box1；

2)掩碼RGBD配準：根據RGBD對齊原理，將手部掩碼box1轉化為與RGBD配準后的手部掩碼box2；

3)去除背景：利用深度信息，對手部掩碼box2使用一階差分閾值處理去除背景，并裁剪下感興趣區域ROI，獲得分割區域中更精確的手部掩碼box3；

4)初步估計掌心參數：對手部掩碼box3求解最大內切圓，獲得圓心的坐標(x₀,y₀)和半徑r₀，即估計的掌心位置與掌部大??；

5)投票篩選：對手部掩碼box3中的所有坐標使用具有旋轉不變性的圖像卷積算子進行投票，淘汰非手指區域，初步確定手指區域；

6)區域精濾波：當手部掩碼box3中所有點都經過一次投票篩選后，所有非手指的區域噪聲被剔除，余下的坐標點構成手指上點的集合Q，Q中相鄰的像素屬于同一連通域region，假設集合Q中的坐標點形成有m個不同的連通域region，這m個region的集合記為Region：

Region＝{region₁,region₂…region_m}，

對Region進行結構元為3x3的矩形開運算，過濾掉尺寸較小的區域，此時獲得剩余區域Final_Region：

Final_Region＝{region′₁，region′₂,…,region′_k}，k≤m，

其中region′_k是對Region進行精濾波后的第k個連通域；

7)求解伸展的手指個數：使用Canny算子對精濾波后的區域Final_Region進行邊界求取，獲得k個閉合邊界，組成集合記為集合Contour：

Contour＝{contour₁,contour₂…contour_k}，

遍歷每個閉合邊界上的坐標點(x′,y′)，求取每個閉合邊界相對于掌心的最大距離所構成的集合MaxDistances：

式中x′_i、y′_i分別表示第i個邊界contour上任意點的橫坐標和縱坐標，x₀、y₀分別表示手部掩碼box3中最大內切圓心的橫坐標和縱坐標

根據手部伸展開的形態確定手指的伸展狀態，取1.5r₀作為區分手指是否伸屈的最佳距離，則MaxDistances中大于1.5r₀的元素個數即為處于伸展狀態的手指個數，記為N；

8)根據神經網絡CNN方法分類，得到最終的手勢。