[發(fā)明專(zhuān)利]一種交互式的深度圖紋理拷貝瑕疵去除方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711097845.7
• 申請(qǐng)日: 2017-11-09
• 公開(kāi)（公告）號(hào): CN107895353B
• 公開(kāi)（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 肖春霞;楊龍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢大學(xué)
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06T7/13
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 魯力

本發(fā)明涉及一種交互式的深度圖紋理拷貝瑕疵去除方法，本發(fā)明專(zhuān)利利用深度相機(jī)同時(shí)對(duì)目標(biāo)采集的彩色圖像與深度圖像，建立彩色圖像與深度圖像間的對(duì)應(yīng)關(guān)系，對(duì)彩色圖像中的亮度邊緣(幾何邊、紋理邊)進(jìn)行檢測(cè)并識(shí)別(用最小生成樹(shù)將邊緣片段連接)，并對(duì)紋理邊緣與目標(biāo)幾何邊緣用交互式的方法進(jìn)行分類(lèi)并標(biāo)記，構(gòu)建基于空間近鄰與彩色圖邊界分類(lèi)標(biāo)記的深度圖保邊濾波算子，用彩色圖像上的邊緣標(biāo)記信息引導(dǎo)深度圖濾波，實(shí)現(xiàn)去除深度圖中紋理拷貝瑕疵的同時(shí)保留目標(biāo)表面真實(shí)幾何邊界的目的。本發(fā)明為基于ToF的Kinect v2深度相機(jī)構(gòu)建了一個(gè)能保持真實(shí)幾何特征而消除紋理拷貝——假幾何邊界的有效方法，且方法交互簡(jiǎn)單，方便易行。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)圖形學(xué)領(lǐng)域，目標(biāo)是提高消費(fèi)級(jí)深度相機(jī)感知的場(chǎng)景深度圖質(zhì)量，特別涉及一種消除深度圖中紋理拷貝瑕疵(即虛假目標(biāo)邊界)的交互式方法。

背景技術(shù)

對(duì)目標(biāo)場(chǎng)景的深度感知測(cè)量是光學(xué)3D掃描的基礎(chǔ)，也有助于對(duì)場(chǎng)景中不同目標(biāo)進(jìn)行分割與識(shí)別。消費(fèi)級(jí)深度相機(jī)(基于ToF測(cè)距的Kinect v2)能夠以低成本、便捷的方式獲取場(chǎng)景的深度圖，然而深度圖對(duì)應(yīng)3D表面片段含有明顯(顏色、圖案與材質(zhì)邊緣所引起的)紋理拷貝瑕疵。若直接使用捕獲的深度圖進(jìn)行3D重建將在融合表面上呈現(xiàn)出虛假的幾何特征，降低3D掃描目標(biāo)的重建質(zhì)量。因此，消除深度圖中由顏色與材質(zhì)紋理造成的虛假幾何邊界是提高深度圖質(zhì)量需解決的一個(gè)突出問(wèn)題。

紋理拷貝瑕疵是將場(chǎng)景目標(biāo)上的顏色與材質(zhì)邊緣“拷貝”到了反映目標(biāo)幾何形狀的深度圖上。而這種將顏色與材質(zhì)邊緣特征遷移與拷貝至深度圖上所造成的小尺度虛假幾何特征，并不符合目標(biāo)表面的幾何實(shí)際，最終在深度圖對(duì)應(yīng)3D表面片段上反映出虛假的形狀變化特征。紋理拷貝瑕疵在以“飛行時(shí)間測(cè)距(Time of Flight，ToF)”為基礎(chǔ)的Kinectv2深度相機(jī)所捕獲的深度圖中廣泛存在。這種比較細(xì)小的偽幾何特征會(huì)殘留在掃描的表面上，降低目標(biāo)表面掃描重建的精度，對(duì)表面幾何特征的處理帶來(lái)干擾。

紋理拷貝瑕疵以小尺度形狀變化的形式顯現(xiàn)在目標(biāo)表面上，其與真實(shí)的幾何細(xì)節(jié)特征具有相近的尺度?；谖恢门c法線變化及曲率等指標(biāo)可檢測(cè)到掃描3D表面上的紋理拷貝瑕疵，但難以將其與真實(shí)的幾何細(xì)節(jié)特征區(qū)分開(kāi)來(lái)。深度圖一般都用單通道灰度圖對(duì)場(chǎng)景中點(diǎn)到視點(diǎn)的垂直距離進(jìn)行編碼與存儲(chǔ)，場(chǎng)景深度距離的細(xì)微差異在深度圖中不能直觀顯現(xiàn)，也難以有效檢測(cè)，而進(jìn)一步識(shí)別其中的真實(shí)幾何邊緣與虛假的紋理拷貝瑕疵將更加困難，因此直接在深度圖上操作小尺度的幾何特征——消除紋理拷貝瑕疵，也不是一種有效的方法。

Kinect在感知深度圖的同時(shí)還能捕獲場(chǎng)景的RGB圖像。而與深度圖不同，彩色圖能對(duì)真實(shí)幾何邊緣兩側(cè)不同的目標(biāo)表面朝向產(chǎn)生亮度變化的響應(yīng)，同時(shí)能夠?qū)δ繕?biāo)表面顏色變化與紋理邊緣的變化產(chǎn)生亮度與梯度響應(yīng)。因此，在彩色圖像上借助有效的邊緣檢測(cè)算子可以比較容易地檢測(cè)出場(chǎng)景中物體的幾何特征與顏色和紋理邊緣特征。由于紋理材質(zhì)、圖案、顏色邊緣與目標(biāo)幾何形狀邊緣均有較強(qiáng)的亮度響應(yīng)，雖然在RGB圖像上可以有效檢測(cè)出幾何特征與紋理邊緣，但有效并可靠地區(qū)分二者仍然面臨挑戰(zhàn)。

因此，如何在檢測(cè)并識(shí)別紋理、圖案與顏色邊緣基礎(chǔ)上消除深度圖的紋理拷貝瑕疵是本發(fā)明需要解決的核心問(wèn)題。消除紋理拷貝瑕疵是提高深度圖質(zhì)量的重要途徑，也是改善消費(fèi)級(jí)深度相機(jī)三維掃描重建質(zhì)量必需解決的重要問(wèn)題，對(duì)目標(biāo)表面小尺度幾何細(xì)節(jié)特征的分析與處理具有重要意義。

發(fā)明內(nèi)容

本發(fā)明目的在于解決消費(fèi)級(jí)深度相機(jī)Kinect v2捕獲深度圖中出現(xiàn)的紋理拷貝瑕疵，提供了一種基于彩色圖交互式識(shí)別目標(biāo)表面紋理與顏色邊界的深度圖濾波方法。該濾波方法能有效去除深度圖中的紋理拷貝瑕疵同時(shí)保留目標(biāo)表面真實(shí)的幾何邊界特征。

本發(fā)明中所用Kinect v2版本的RGB圖像與深度圖在視角、分辨率上都有所不同。因此，使用棋盤(pán)標(biāo)定的方法獲取從深度相機(jī)空間到RGB相機(jī)空間的坐標(biāo)變換，從而將深度圖與RGB圖像進(jìn)行對(duì)齊。