[發(fā)明專利]Kinect深度相機(jī)的標(biāo)記物及基于該標(biāo)記物的虛擬標(biāo)記物跟蹤方法

有效

• 申請?zhí)枺?/td>: 201910295827.2
• 申請日: 2019-04-12
• 公開（公告）號(hào): CN110021035B
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計(jì)）人: 蘇一賢;高文朋;付宜利
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/277;G06T7/50;G06T7/136;G06T7/73;G06T19/00
• 代理公司: 哈爾濱市松花江專利商標(biāo)事務(wù)所 23109
• 代理人: 于歌

Kinect深度相機(jī)的標(biāo)記物及基于該標(biāo)記物的虛擬標(biāo)記物跟蹤方法，涉及計(jì)算機(jī)視覺測量技術(shù)領(lǐng)域。本發(fā)明是為了解決傳統(tǒng)深度相機(jī)的分辨率較低，難以獲取精細(xì)的圖像特征；而與RGB相機(jī)使用時(shí)，標(biāo)定還容易引入誤差的問題。本發(fā)明在Kinectt深度相機(jī)輸出的紅外圖像上，識(shí)別和提取粘貼區(qū)域，并求其質(zhì)心像素坐標(biāo)；利用對(duì)應(yīng)的深度圖，根據(jù)相機(jī)透視投影模型和平面性質(zhì)插補(bǔ)出粘貼質(zhì)心相對(duì)Kinect深度相機(jī)的深度值；采用基于深度圖的像素插值算法求得虛擬標(biāo)記物的圖像坐標(biāo)；在深度圖中對(duì)虛擬標(biāo)記物的深度值進(jìn)行索引并濾波；對(duì)虛擬標(biāo)記物的圖像坐標(biāo)和深度進(jìn)行濾波，再通過透視投影逆過程得到虛擬標(biāo)記物的三維坐標(biāo)，完成對(duì)虛擬標(biāo)記物的跟蹤。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺測量技術(shù)領(lǐng)域，尤其涉及利用標(biāo)記物進(jìn)行視覺跟蹤的方法。

背景技術(shù)

在圖像工程的應(yīng)用中，經(jīng)常利用目標(biāo)物體的特征點(diǎn)來表示目標(biāo)物體的本身。一個(gè)完整的特征點(diǎn)能夠?yàn)槟繕?biāo)物體提供足夠的約束，而且表示這些特征僅僅需要很少的數(shù)據(jù)量。描述目標(biāo)物體的特征點(diǎn)一般指的是目標(biāo)區(qū)域的拐角點(diǎn)、封閉輪廓線的中心、紋理特征或者其他的突出點(diǎn)。另外，人為設(shè)計(jì)的特征，也稱之為標(biāo)記物，用以將特定物體和其他物體區(qū)別出來，這樣可以提高目標(biāo)物體識(shí)別和定位的實(shí)時(shí)性和穩(wěn)定性。因此，基于標(biāo)記物的跟蹤算法在單目、雙目相機(jī)中都有廣泛應(yīng)用。但是，傳統(tǒng)深度相機(jī)的分辨率較低，難以獲取精細(xì)的圖像特征，所以通常將其與RGB相機(jī)一起使用。但是RGB相機(jī)對(duì)環(huán)境光的變化敏感，其與深度相機(jī)的標(biāo)定也易引入誤差。

發(fā)明內(nèi)容

本發(fā)明是為了解決傳統(tǒng)深度相機(jī)的分辨率較低，難以獲取精細(xì)的圖像特征；而與RGB相機(jī)使用時(shí)，標(biāo)定還容易引入誤差的問題，現(xiàn)提供Kinect深度相機(jī)的標(biāo)記物及基于該標(biāo)記物的虛擬標(biāo)記物跟蹤方法。

Kinect深度相機(jī)的標(biāo)記物，所述標(biāo)記物包括表面均勻覆蓋有近紅外反光粉末的基質(zhì)，所述標(biāo)記物厚度小于等于0.2mm。所述基質(zhì)為圓片或球形結(jié)構(gòu)。

基于上述標(biāo)記物的虛擬標(biāo)記物跟蹤方法，包括以下步驟：

S1：利用Kinect深度相機(jī)對(duì)粘貼有n個(gè)標(biāo)記物的平面進(jìn)行拍攝、并獲得近紅外圖像和深度數(shù)據(jù)幀，n為大于等于2的正整數(shù)，所述平面法向量與Kinect深度相機(jī)的光軸夾角小于等于40度，所述平面為白色啞光平面、且反射率大于0.8；

S2：在近紅外圖像中分別提取每個(gè)標(biāo)記物的幾何中心坐標(biāo)；

S3：在深度數(shù)據(jù)幀中，根據(jù)透視投影過程和平面性質(zhì)獲取每個(gè)標(biāo)記物幾何中心坐標(biāo)對(duì)應(yīng)的深度值；

S4：將相鄰的兩個(gè)標(biāo)記物作為一組，每組中在兩個(gè)標(biāo)記物幾何中心連線上取深度值有效的一點(diǎn)作為一個(gè)虛擬標(biāo)記物，取m個(gè)虛擬標(biāo)記物，當(dāng)n＝2時(shí)，m＝1，當(dāng)n≥3時(shí)，m≥3且任意3個(gè)虛擬標(biāo)記物不共線，然后利用每個(gè)標(biāo)記物的幾何中心坐標(biāo)和深度值分別獲得m個(gè)虛擬標(biāo)記物的圖像坐標(biāo)；

S5：利用m個(gè)虛擬標(biāo)記物的圖像坐標(biāo)分別獲取m個(gè)虛擬標(biāo)記物的深度值；

S6：對(duì)m個(gè)虛擬標(biāo)記物的圖像坐標(biāo)及深度值進(jìn)行降噪；

S7：將S6中降噪后的m個(gè)虛擬標(biāo)記物的圖像坐標(biāo)及其對(duì)應(yīng)的深度值、通過透視投影逆過程變換至Kinect深度相機(jī)局部坐標(biāo)系下的三維空間中，獲得m個(gè)虛擬標(biāo)記物的實(shí)時(shí)三維坐標(biāo)，完成虛擬標(biāo)記物的跟蹤。

上述S2中在近紅外圖像中分別提取每個(gè)標(biāo)記物的幾何中心坐標(biāo)的具體步驟為：

S21：對(duì)近紅外圖像進(jìn)行閾值分割獲得二值圖像，所述閾值能夠?qū)?biāo)記物和背景區(qū)分開；

S22：遍歷二值圖像中的每個(gè)像素，利用區(qū)域增長算法提取每個(gè)標(biāo)記物的像素集合；

S23：對(duì)每個(gè)標(biāo)記物的像素集合進(jìn)行平均，獲得每個(gè)標(biāo)記物的幾何中心坐標(biāo)。

上述S3中獲取每個(gè)標(biāo)記物幾何中心坐標(biāo)對(duì)應(yīng)的深度值的具體步驟為：