[發明專利]一種基于深度圖像的手掌跟蹤方法和系統

有效

• 申請號: 201610196293.4
• 申請日: 2016-03-31
• 公開（公告）號: CN107292904B
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 劉鵬鵬;劉文韜;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 北京金闕華進專利事務所(普通合伙) 11224
• 代理人: 陳建春

本發明公開了一種基于深度圖像的手掌跟蹤方法和系統，其中所述方法包括：將包含手勢的多個深度圖像中的第一深度圖像轉換為3D點云并獲得預估手掌心點；以預估手掌心點作為初始點在測地線距離閾值范圍內進行區域生長并獲得手掌連通集；獲取所述手掌連通集的邊界點集合；確定所述手掌連通集中每個點到所述手掌連通集范圍之外的逆區域生長種子點的測地線距離；根據所述測地線距離和所述邊界點集合確定跟蹤點；及基于所述跟蹤點跟蹤手掌。本發明能夠實現實時魯棒的手掌跟蹤，并能及時發現手掌跟蹤失敗并進行處理。

技術領域

本申請涉及圖像處理領域，尤其涉及一種基于深度圖像的手掌跟蹤方法和系統。

背景技術

傳統的基于RGB的手勢跟蹤受背景環境、光照等因素影響較大，深度圖能獲取物體在3D空間中的位置信息，因此在目標跟蹤方面有很大的優勢。基于深度圖的傳統的手勢跟蹤方法有基于檢測跟蹤，基于連通集的分割與跟蹤等。然而，由于手勢跟蹤時手型變化很多，手的速度時快時慢，并且受背景、身體、頭等的干擾，這些方法可以在特定條件下實現手勢跟蹤，但是魯棒性較差即持續跟蹤能力較差。例如參考文獻(Chia-Ping Chen,Yu-TingChen,Ping-Han Lee,Yu-Pao Tsai,and Shawmin Lei,“Real-time Hand Tracking onDepth Images”,(VCIP),2011IEEE)中公開了一種方法：以初始點加上速度預估手心位置，找出深度圖中距離它最近的點進行區域生長，設定一個閾值限定生長范圍，從而找出一個連通集，并找出連通集邊界。然后對于分割出的連通集擬合一個球體，對球內所有點做加權，得到要跟蹤的掌心。此方法生長點不穩，手部區域經常生長不完整，并且生長容易受手掌附近物體例如身體的影響，在運動速度過快或者與其他區域連通時，將導致目標跟蹤失敗并且無法恢復。

發明內容

本申請的目標在于提供一種可以實現實時魯棒的手掌跟蹤的方法和系統。

本申請的目標由一種基于深度圖像的手掌跟蹤方法實現，該方法包括：

將包含手勢的多個深度圖像中的第一深度圖像轉換為3D點云并獲得預估手掌心點；

以預估手掌心點作為初始點在測地線距離閾值范圍內進行區域生長并獲得手掌連通集；

獲取手掌連通集的邊界點集合；

確定手掌連通集中每個點到手掌連通集范圍之外的逆區域生長種子點的測地線距離；根據測地線距離和邊界點集合確定跟蹤點；及基于跟蹤點跟蹤手掌。

本申請的目標還由一種基于深度圖像的手掌跟蹤系統實現，該系統包括：

預估手掌心點獲取模塊，用于將包含手勢的多個深度圖像中的第一深度圖像轉換為3D點云并獲得預估手掌心點；

手掌連通集獲取模塊，用于以預估手掌心點作為初始點在測地線距離閾值范圍內進行區域生長并獲得手掌連通集；

邊界點集合獲取模塊，用于獲取手掌連通集的邊界點集合；

測地線距離確定模塊，用于確定手掌連通集中每個點到手掌連通集范圍之外的逆區域生長種子點的測地線距離；

跟蹤點確定模塊，用于根據測地線距離和邊界點集合確定跟蹤點；及

手掌跟蹤模塊，用于基于跟蹤點跟蹤手掌。

通過本發明方法，使用測地線距離取代歐式距離，給出深度攝像機參數，可以基于深度圖像恢復出的3D點云，根據區域生長找出手臂測地線方向，然后逆區域生長，實現對任意手型實時魯棒的手掌跟蹤，解決了現有技術在手型變化時容易跟丟的問題。