[發明專利]一種Kinect深度圖像增強方法

有效

• 申請號: 201710874911.0
• 申請日: 2017-09-25
• 公開（公告）號: CN107622480B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 權巍;張超;韓成;李華;薛耀紅;胡漢平;陳純毅;蔣振剛;楊華民;馮欣
• 申請（專利權）人: 長春理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/13;G06T7/181;G06T7/593
• 代理公司: 吉林長春新紀元專利代理有限責任公司 22100
• 代理人: 王薇

本發明涉及一種Kinect深度圖像增強方法，其特征在于具體步驟如下：對Kinect v2同時采集的深度圖像和彩色圖像進行對齊剪裁，并進行邊緣檢測；將Kinect v2深度圖中由錯誤和無效像素構成的空洞進行類型劃分，對物體邊緣空洞的處理，采用自適應聯合雙邊濾波算法去除空洞填充后的深度圖像的噪聲，令窗口大小與中心像素深度值成線性關系，在去噪的同時兼顧細節的保持。該方法將深度圖像進行區域分割，針對不同區域中不同原因導致的空洞采用不同的方法進行填充，大大降低算法復雜性，在保證實時性的前提下獲得了高質量的Kinect v2深度圖像。

技術領域

本發明涉及一種Kinect深度圖像增強方法，屬于計算機圖像處理領域。

背景技術

深度圖像的像素值表示場景中物體到相機的距離，包含場景的三維結構信息。深度圖像是計算機視覺、三維重建、增強現實、機器人等領域應用的重要輸入，深度信息的準確度至關重要。

深度圖像的獲取方法包括基于視覺的方法和基于深度傳感設備的方法兩類。基于視覺的深度圖像獲取方法是基于彩色圖像的紋理信息提取深度值，算法復雜實時性不佳。基于深度傳感設備的方法由于其良好的實時性應用廣泛。Kinect作為一款體感設備由于其卓越的深度感知性能和親民的價格，一經推出便成為深度獲取最為廣泛使用的設備。Kinect v2采用了完全不同于Kinect v1的深度測量原理，使得其深度測量的精度得到大幅提高。然而，Kinect v2深度圖像中仍然存在由無效深度值像素構成的空洞，尤其是在深度值變化劇烈的區域，由于Kinect中三個IR發射裝置、IR相機、RGB相機的物理位置的不同，導致場景中深度值變化劇烈的區域(例如物體邊緣)存在大量的錯誤或無效像素。

為了對Kinect v2深度圖像進行增強，得到高質量的深度圖像，研究人員開展了大量的研究，探索了一些方法，可概括為如下兩類：基于深度校準的方法，這類方法對深度圖進行逐個像素校準；然而空洞中的像素點不僅僅有不準確的深度值點，更是存在大量的無效像素點，因此，對于空洞的處理效果不佳。另一類方法是，基于彩色紋理的深度增強方法，利用Kinect中RGB相機同時采集的彩色圖像紋理對于無效像素深度值進行估計；這類方法對于圖像中所有空洞的全部像素點依次進行估計，算法相對較為復雜，處理效率低，無法滿足深度圖像的各個應用領域中實時性的要求。

發明內容

為解決Kinect深度圖像質量不佳的問題，本發明的目的在于提供一種Kinect深度圖像增強方法，該方法將深度圖像進行區域分割，針對不同區域中不同原因導致的空洞采用不同的方法進行填充，大大降低算法復雜性，在保證實時性的前提下獲得了高質量的Kinect深度圖像。

為了達成上述目的，本發明的技術方案是這樣實現的：一種Kinect深度圖像增強方法，其特征在于具體步驟如下：

1、對Kinect v2同時采集的深度圖像和彩色圖像進行對齊剪裁，并進行邊緣檢測；包括如下子步驟：

101、根據深度和彩色圖像中對應的特征點、邊等紋理信息，計算深度和彩色圖像的比例；利用opencv的resize函數調整彩色圖像，并通過ROI將兩者重合，進行對齊剪裁；剪裁后的深度和彩色圖像分別記為Im_depth和Im_color；

102、對剪裁后的深度和彩色圖像進行邊緣檢測，得到對應的兩幅圖像分別記為Im’_depth和Im’_color；