[發明專利]一種以人臉為參照的手勢識別方法

在審

• 申請號: 201610024252.7
• 申請日: 2016-01-14
• 公開（公告）號: CN106971130A
• 公開（公告）日: 2017-07-21
• 發明（設計）人: 祝銘明
• 申請（專利權）人: 芋頭科技（杭州）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 上海申新律師事務所31272
• 代理人: 黨蕾

技術領域

本發明涉及手勢識別技術領域，尤其涉及一種以人臉為參照的手勢識別方法。

背景技術

目前在智能設備領域較少存在能夠支持大量的手勢動作的手勢控制智能設備的方法，其原因存在以下幾點：1)現有的手勢識別方法，對背景要求非常高，需要使用者在不影響手勢識別的環境下進行操作(例如黑暗的房間內)；2)現有的手勢識別方法對于手勢動作的識別精度不高，誤識別的概率較大；3)現有的手勢識別方法，無法準確判斷使用者是否試圖進行手勢控制。例如無法正確判斷使用者進行手勢動作的目的在于進行手勢控制，還是僅僅無意識地做手勢。上述幾個原因導致現有的手勢識別技術尚不能穩定地作為一種控制方式應用于智能設備中。

發明內容

根據現有技術中存在的上述問題，現提供一種以人臉為參照的手勢識別方法的技術方案，具體包括：

一種以人臉為參照的手勢識別方法，其中，通過預先設置的訓練樣本設定一標準距離范圍，所述標準距離范圍表示使用者的人臉的中心位置至進行手勢動作的手掌的中心位置的距離的適宜的取值范圍；

所述手勢識別方法包括如下步驟：

步驟S1，通過一圖像采集裝置獲取關聯于使用者全身的視頻數據流，并處理得到關聯于所述使用者的各個骨骼點的骨骼點信息；

步驟S2，根據所述骨骼點信息，確定表示所述使用者的手心位置的手心位置信息與表示所述使用者的手長的手長信息；

步驟S3，根據所述手心位置信息判斷所述使用者的手心距離地面的高度是否大于一預設的高度閾值：

若是，則繼續執行步驟S4；

若否，則退出；

步驟S4，獲取所述視頻數據流中的關聯于所述使用者的人臉的人臉中心位置，并根據所述手心位置信息判斷關聯于所述使用者的手掌的手心位置與所述人臉中心位置的距離是否處于所述標準距離范圍內：

若是，則繼續執行步驟S5；

若否，則退出；

步驟S5，判斷得到手掌區域的圖像，并對所述手掌區域的圖像進行分割裁剪以及進行預處理，得到相應的手部掩膜并輸出；

步驟S6，根據所述處理結果，識別出手部的指尖區域，并根據所述指尖區域的幾何關系對所述使用者的手勢進行識別。

優選的，該手勢識別方法，其中，所述步驟S1中，所述圖像采集裝置為景深攝像頭；

所述視頻數據為關聯于所述使用者的全身的景深視頻數據。

優選的，該手勢識別方法，其中，所述步驟S1包括：

步驟S11，采用所述圖像采集裝置采集包括背景以及所述使用者的全身的景深圖像的視頻數據流；

步驟S12，將所述視頻數據流中包括的每幀的所述景深圖像的像素的三維信息進行空間變換，以得到實際空間中的對應的點云信息；

步驟S13，根據每個所述像素對應的所述點云信息，獲得每個所述像素與所述景深攝像頭之間的距離；

步驟S14，分別根據每個所述像素對應的所述距離，處理得到所述骨骼點信息。

優選的，該手勢識別方法，其中，所述步驟S2包括：

步驟S21，根據處理得到的關聯于所述使用者的各個所述骨骼點的所述骨骼點信息，獲得所述使用者的所述手心位置信息；

步驟S22，根據處理得到的關聯于所述使用者的各個所述骨骼點的所述骨骼點信息，依照下述公式計算得到所述使用者的身高信息：

其中，H₁表示所述使用者的身高數值，H₂表示背景的像素高度數值，H₃表示所述使用者在被采集的視頻圖像中的像素高度數值，d表示所述使用者與所述景深攝像頭之間的距離數值，θ表示所述景深攝像頭在水平方向上的垂直角度數值；

步驟S23，根據預設的人體身高與人體手長之間的對應關系，獲得所述使用者的所述手長信息。

優選的，該手勢識別方法，其中，所述步驟S5包括：

步驟S51，根據所述手心位置信息和所述手長信息，去除所述使用者的手部包括的所有與所述手心位置的距離大于所述手長的一半的像素點的信息，并依據去除后的手部包括的所有所述像素點的信息得到手部數據；

步驟S52，通過K均值聚類算法對處理得到的所述手部數據進行聚類處理，得到經過聚類處理后的所述手部數據；

步驟S53，設置最小聚類數，以對所述手部數據進行噪聲干擾像素簇的過濾排除，從而得到關聯于所述手部數據的手部掩膜并輸出。