[發明專利]Kinect深度相機的標記物及基于該標記物的虛擬標記物跟蹤方法

有效

• 申請號: 201910295827.2
• 申請日: 2019-04-12
• 公開（公告）號: CN110021035B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 蘇一賢;高文朋;付宜利
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T7/50;G06T7/136;G06T7/73;G06T19/00
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 于歌

1.基于Kinect深度相機的標記物的虛擬標記物跟蹤方法，Kinect深度相機的標記物，包括表面均勻覆蓋有近紅外反光粉末的基質，所述標記物厚度小于等于0.2mm，

其特征在于，虛擬標記物跟蹤方法包括以下步驟：

S1：利用Kinect深度相機對粘貼有n個標記物的平面進行拍攝、并獲得近紅外圖像和深度數據幀，n為大于等于2的正整數，所述平面的法向量與Kinect深度相機的光軸夾角小于等于40度，所述平面為白色啞光平面、且反射率大于0.8；

S2：在近紅外圖像中分別提取每個標記物的幾何中心坐標；

S3：在深度數據幀中，根據透視投影過程和平面性質獲取每個標記物幾何中心坐標對應的深度值；

S4：將相鄰的兩個標記物作為一組，每組中在兩個標記物幾何中心連線上取深度值有效的一點作為一個虛擬標記物，取m個虛擬標記物，當n＝2時，m＝1，當n≥3時，m≥3且任意3個虛擬標記物不共線，然后利用每個標記物的幾何中心坐標和深度值分別獲得m個虛擬標記物的圖像坐標；

S5：利用m個虛擬標記物的圖像坐標分別獲取m個虛擬標記物的深度值；

S6：對m個虛擬標記物的圖像坐標及深度值進行降噪；

S7：將S6中降噪后的m個虛擬標記物的圖像坐標及其對應的深度值、通過透視投影逆過程變換至Kinect深度相機局部坐標系下的三維空間中，獲得m個虛擬標記物的實時三維坐標，完成虛擬標記物的跟蹤。

2.根據權利要求1所述的虛擬標記物跟蹤方法，其特征在于，S2中在近紅外圖像中分別提取每個標記物的幾何中心坐標的具體步驟為：

S21：對近紅外圖像進行閾值分割獲得二值圖像，所述閾值能夠將標記物和背景區分開；

S22：遍歷二值圖像中的每個像素，利用區域增長算法提取每個標記物的像素集合；

S23：對每個標記物的像素集合進行平均，獲得每個標記物的幾何中心坐標。

3.根據權利要求2所述的虛擬標記物跟蹤方法，其特征在于，

S22中，每個標記物的像素集合的表達式為：N_n＝{p_i|i＝1,2,3,...,x}，其中p_i＝[u_iv_i]表示標記物在近紅外圖像中第i個像素坐標，x表示像素個數。

4.根據權利要求3所述的虛擬標記物跟蹤方法，其特征在于，

S23中，利用以下公式對每個標記物的像素集合進行平均：

每個標記物的幾何中心坐標t_n的表達式為：

5.根據權利要求1所述的虛擬標記物跟蹤方法，其特征在于，S3中獲取每個標記物幾何中心坐標對應的深度值的具體步驟為：

S31：分別獲取與每個標記物相鄰的四個像素和

S32：在深度數據幀中，對四個像素對應的深度值進行插值，獲得每個標記物對應的四個像素的深度值和

S33：根據S32獲得的四個像素的深度值、插值獲得每個標記物幾何中心坐標對應的深度值。

6.根據權利要求5所述的虛擬標記物跟蹤方法，其特征在于，S32中，通過以下公式分別對四個像素對應的深度值進行插值：

其中，d_p表示像素p的深度值，和表示在深度數據幀中第i對以p為中點的兩個坐標所對應的深度值、且共有β對深度值。

7.根據權利要求5或6所述的虛擬標記物跟蹤方法，其特征在于，S33中，通過下式插補獲得每個標記物坐標對應的深度值d_q：

其中，中間變量中間變量表示第i個像素坐標，q＝1,2，運算符表示對R向下取整。