[發(fā)明專(zhuān)利]一種Kinect深度圖像增強(qiáng)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710874911.0
• 申請(qǐng)日: 2017-09-25
• 公開(kāi)（公告）號(hào): CN107622480B
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 權(quán)巍;張超;韓成;李華;薛耀紅;胡漢平;陳純毅;蔣振剛;楊華民;馮欣
• 申請(qǐng)（專(zhuān)利權(quán)）人: 長(zhǎng)春理工大學(xué)
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06T7/13;G06T7/181;G06T7/593
• 代理公司: 吉林長(zhǎng)春新紀(jì)元專(zhuān)利代理有限責(zé)任公司 22100
• 代理人: 王薇

1.一種Kinect深度圖像增強(qiáng)方法，其特征在于具體步驟如下：

1、對(duì)Kinect v2同時(shí)采集的深度圖像和彩色圖像進(jìn)行對(duì)齊剪裁，并進(jìn)行邊緣檢測(cè)；包括如下子步驟：

101、根據(jù)深度和彩色圖像中對(duì)應(yīng)的特征點(diǎn)、邊的紋理信息，計(jì)算深度和彩色圖像的比例；利用opencv的resize函數(shù)調(diào)整彩色圖像，并通過(guò)ROI將兩者重合，進(jìn)行對(duì)齊剪裁；剪裁后的深度和彩色圖像分別記為Im_depth和Im_color；

102、對(duì)剪裁后的深度和彩色圖像進(jìn)行邊緣檢測(cè)，得到對(duì)應(yīng)的兩幅圖像分別記為Im’_depth和Im’_color；

103、建立Im’_color與Im’_depth的映射關(guān)系，計(jì)算Im’_color中所有的邊緣線中的點(diǎn)q與Im’_depth中最近的邊緣點(diǎn)的空間距離d_q，選取閾值Threshold_dq；對(duì)于Im’_color中的點(diǎn)q，若d_q＞Threshold_dq，則該點(diǎn)的像素值清零，即該點(diǎn)不是邊緣點(diǎn)，得到的清除了多余邊緣線的圖像，記為Im”_color；

2、將Kinect v2深度圖中由錯(cuò)誤和無(wú)效像素構(gòu)成的空洞進(jìn)行類(lèi)型劃分，采用形態(tài)學(xué)的膨脹方法將深度圖像Im_depth中離散的錯(cuò)誤和無(wú)效像素點(diǎn)擴(kuò)充為連通的空洞，對(duì)于每一個(gè)空洞，通過(guò)其與Im’_depth中邊緣線的空間距離，判斷其類(lèi)型，選取閾值Threshold_sp，若d_sp＝Threshold_sp時(shí)，空洞為物體邊緣空洞，若d_spThreshold_sp，空洞則為非物體邊緣空洞；

3、對(duì)于位于前景區(qū)域的非物體邊緣空洞采用與物體邊緣空洞相同的方式進(jìn)行填充，方法同步驟4；針對(duì)由于距離導(dǎo)致的測(cè)量不準(zhǔn)確引起的非物體邊緣空洞進(jìn)行處理，取空洞最外側(cè)的像素點(diǎn)q₁，q₁點(diǎn)的5*5鄰域記為Ω_Hne，計(jì)算Ω_Hne中所有有效像素點(diǎn)深度值的平均值，將該值作為Ω_Hne中全部未知像素點(diǎn)的深度值，重復(fù)此步驟，直至計(jì)算出空洞中全部點(diǎn)的深度值；

4、針對(duì)物體邊緣空洞的處理步驟包括如下子步驟：

401、物體邊緣空洞中的點(diǎn)任一點(diǎn)p，若其在Im”_color中的對(duì)應(yīng)點(diǎn)位于邊緣線之外，則p點(diǎn)應(yīng)屬于背景像素點(diǎn)；物體邊緣空洞中全部的屬于背景的像素點(diǎn)構(gòu)成的空洞區(qū)域記為Ω_He1；Ω_He1中所有點(diǎn)的像素值根據(jù)其鄰域中有效的背景區(qū)域像素值計(jì)算得到，計(jì)算方法同步驟3的由于距離導(dǎo)致的測(cè)量不準(zhǔn)確引起的非物體邊緣空洞處理方法；

402、將物體邊緣空洞中剩余的區(qū)域記為Ω_He2；取Ω_He2最外側(cè)靠近前景物體的像素點(diǎn)集，記為Ω'_He2；對(duì)于每一個(gè)點(diǎn)p∈Ω'_He2，按下面公式計(jì)算f_p(q₂)的值；

其中，q₂∈Ω_Np，Ω_Np為p的8*8鄰域中位于前景物體區(qū)域的有效點(diǎn)集；||p-q₂||為q₂和p點(diǎn)的空間距離，a為權(quán)值；為Im’_color中q₂和p對(duì)應(yīng)點(diǎn)的顏色距離，b為權(quán)值；取f_p(q₂)值最小的三個(gè)像素點(diǎn)的深度值的平均值作為點(diǎn)p的深度；

403、重復(fù)步驟402，直至空洞Ω_He2中全部像素深度值計(jì)算完畢；

5、采用自適應(yīng)聯(lián)合雙邊濾波算法去除空洞填充后的深度圖像的噪聲。