[發明專利]一種基于深度圖像的手掌跟蹤方法和系統

有效

• 申請號: 201610196293.4
• 申請日: 2016-03-31
• 公開（公告）號: CN107292904B
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 劉鵬鵬;劉文韜;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 北京金闕華進專利事務所(普通合伙) 11224
• 代理人: 陳建春

1.一種基于深度圖像的手掌跟蹤方法，其特征在于，所述方法包括：

將包含手勢的多個深度圖像中的第一深度圖像轉換為3D點云并獲得預估手掌心點；

以所述預估手掌心點作為初始點在測地線距離閾值范圍內進行區域生長并獲得手掌連通集；

獲取所述手掌連通集的邊界點集合；

確定所述手掌連通集中每個點到所述手掌連通集范圍之外的逆區域生長種子點的測地線距離；根據所述測地線距離和所述邊界點集合確定跟蹤點；及基于所述跟蹤點跟蹤手掌。

2.根據權利要求1所述的方法，其特征在于，所述方法在以所述預估手掌心點作為初始點在測地線距離閾值范圍內進行區域生長之前還包括對所述預估手掌心點進行矯正，所述矯正包括：

對以所述預估手掌心點為圓心的半徑為r的球內的所有點取加權平均得到加權平均點，其中r為70-150mm；

在所述3D點云的空間中找出一個距離加權平均點最近的點作為矯正后的預估手掌心點；

其中所述以所述預估手掌心點作為初始點在測地線距離閾值范圍內進行區域生長并獲得手掌連通集包括：以所述矯正后的預估手掌心點作為初始點在測地線距離閾值范圍內進行區域生長并獲得手掌連通集。

3.根據權利要求2所述的方法，其特征在于，所述方法在獲取所述手掌連通集的邊界點集合之前還包括：響應于所述手掌連通集的點數少于預設連通集點數第一閾值，以矯正后的預估手掌心點的鄰域作為新的初始點重新進行區域生長并獲得新的手掌連通集；

其中所述獲取所述手掌連通集的邊界點集合包括：獲取所述新的手掌連通集的邊界點集合。

4.根據權利要求1所述的方法，其特征在于，所述逆區域生長種子點按照下述方式確定：

以區域生長最后停止生長的方向為指向手臂的方向，在指向手臂的方向上選取在測地線距離第二閾值范圍內的多個點并求出所述多個點中的至少兩個點的中值以得到所述逆區域生長種子點。

5.根據權利要求1所述的方法，其特征在于，獲取所述手掌連通集的邊界點集合的步驟包括：

對所述手掌連通集內的每個點進行是否為邊界點的判斷從而得到所述邊界點集合，其中在一點的四鄰域均屬于所述手掌連通集時確定其不是邊界點；及其中在一點的四鄰域的鄰域之一不屬于所述手掌連通集時確定其為邊界點。

6.根據權利要求1所述的方法，其特征在于，所述根據所述測地線距離和所述邊界點集合確定跟蹤點包括：

根據所述手掌連通集中每個點到所述逆區域生長種子點的測地線距離設定每個點的權重，測地線距離越大，權重越高；

以所述手掌連通集的非邊界點為中心，將到所述非邊界點的測地線距離小于r的邊界點加入備選非邊界點集合，然后找出備選非邊界點集合中權重最大的一個非邊界點；

對以所述權重最大的一個非邊界點為圓心的半徑為r的球內的所有點取加權平均得到跟蹤點，其中r為70-150mm。

7.根據權利要求1所述的方法，其特征在于，所述根據所述測地線距離和所述邊界點集合確定跟蹤點包括：

根據所述手掌連通集中每個點到所述逆區域生長種子點的測地線距離設定每個點的權重，測地線距離越大，權重越高；

以所述手掌連通集的非邊界點為中心，將到所述非邊界點的測地線距離小于r的邊界點加入備選非邊界點集合，然后找出備選非邊界點集合中權重最大的多個非邊界點，其中r為70-150mm；

對權重最大的多個非邊界點中的每一非邊界點，分別對以其為圓心的半徑為r的球內的所有點取加權平均，得到多個手掌中心候選點；

對多個手掌中心候選點進行加權平均得到跟蹤點。

8.根據權利要求1所述的方法，其特征在于，所述基于所述跟蹤點跟蹤手掌包括：

判斷手掌跟蹤是否跟蹤丟失；及

在確定手掌跟蹤丟失時刪除當前跟蹤對象。