[發明專利]一種基于光場的Kinect深度圖像修復方法

在審

• 申請號: 201711189116.4
• 申請日: 2017-11-24
• 公開（公告）號: CN107977938A
• 公開（公告）日: 2018-05-01
• 發明（設計）人: 孫霽澤;楊昕欣;刁為民;馬抒恒
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/30;G06T5/50;G06T7/13
• 代理公司: 北京科迪生專利代理有限責任公司11251
• 代理人: 楊學明,賈玉忠

技術領域

本發明屬于光場、三維重建技術領域，具體涉及一種基于光場的Kinect深度圖像修復方 法。

背景技術

三維重建是計算機視覺領域熱門的研究方向之一，它研究如何通過物體的二維信息獲取 物體在空間中的三維信息。借助圖像與傳感器，通過算法處理可以獲取到相應的深度數據， 根據計算機圖形學的相關知識，可以重建點云，一定程度上還原三維空間中的物體。三維重 建技術有助于記錄保存三維空間的信息，記錄下人類無法到達的空間中的三維信息。三維重 建技術在娛樂、教育、軍事、生活、電商、醫療等方面均有廣闊的應用場景，3D電影、游 戲、實驗環境仿真、作戰環境重建、醫療診斷、虛擬現實都是很好的體現。隨著計算機視覺 技術的發展，處理器和圖形處理器的功能越來越強大，同時更多地傳感器設備的出現，使三 維重建技術快速發展。

隨著虛擬現實技術的發展，三維重建技術也出現在了大眾的視野中，而且越來越多的企 業、研究所投入到了三維重建的研究中，有關三維重建的開源項目也越來越多。2015年微軟 發布的混合現實設備HoloLens上，攜帶了一個深度測量傳感器用于測量周圍環境的三維數 據。Google的“project tango”項目也是致力于實現快速、準確的三維重建。隨著電商的興 起，人們在購物時可以打破空間的束縛，借助虛擬現實技術和三維重建技，可以實現虛擬購 物令消費者近距離觀察甚至“試用”商品。

三維重建技術的應用會越來越廣闊，并且有著很大的發展空間，有很高的研究價值。三 維重建的基礎就是獲取場景深度圖像，根據圖像以及相機內外參生成點云數據，然后渲染三 維實體。深度圖像的質量決定了重建的質量，在處理多視角點云數據時，深度圖像的質量決 定了點云配準融合的精度。

發明內容

本發明要解決的技術問題為：由于設備本身的缺陷以及場景復雜度的不同，Kinect采集 的原始深度圖像存在或多或少的空洞噪聲，主要表現為噪聲部分深度為零，其中場景中物體 的邊緣出現的噪聲是比較難修復的，本發明主要利用光場提取物體邊緣的深度，對原始深度 圖像進行修復。

本發明采用的技術方案為：一種基于光場的Kinect深度圖像修復方法，所述方法包括：

步驟1、利用Kinect獲取場景或物體的深度圖像；

步驟2、根據所述場景或物體的深度圖像，使用濾波器處理初始深度圖像；

步驟3、利用Kinect的彩色攝像頭或其他拍攝設備采集光場數據；

步驟4、根據所述光場數據，重構為對極平面圖像(EPI，Epipolar Plane Image)組；

步驟5、根據所述對極平面圖像組，進行圖像邊緣檢測，提取圖像中的直線特征；

步驟6、根據所述進行邊緣檢測后的對極平面圖像組，進行圖像膨脹，使直線特征更明 顯；

步驟7、根據所述提取直線特征的圖像組，利用直線檢測算法檢測直線的斜率；

步驟8、根據所述檢測到的直線斜率，換算為相應的深度數據，合成深度圖像；

步驟9、根據所述利用光場數據生成的深度圖像，與Kinect深度圖像融合為新的深度圖 像。

其中，利用Kinect深度攝像機獲取場景或物體的深度圖像，其圖像的表現形式為灰度圖 像，包含相對空間點距離深度攝像機的投影距離。

其中，對初始深度圖像，使用高斯濾波、中值濾波、雙邊濾波等方法進行處理。

其中，光場數據的采集利用彩色攝像機完成，有兩種采集形式，一是直線型相機陣列， 二是單相機直線順序采集。

其中，對光場圖像組，提取每幅圖像的同一行數據按順序重組為對極平面圖像組。

其中，使用Canny算子對對極平面圖像進行邊緣檢測，提取圖像邊緣特征。

其中，對于邊緣檢測后的對極平面圖像組，進行圖像膨脹，使直線特征更明顯，有利于 進行直線斜率檢測。

其中，對于處理后的對極平面圖像，根據處理前后的對極平面組的圖像特征，計算圖像 中的直線斜率。

其中，利用光場重建的邊緣深度圖像與Kinect采集并處理的深度圖像融合，合成完整的 深度圖像。

本發明與現有技術相比的優點在于：

(1)本發明從場景本身出發，提取真實的邊緣深度。而非用現有深度數據估計預測邊 緣深度。

(2)本發明修復后的圖像邊緣部分更加光滑。

(3)本發明對場景中的線、桿等較細物體的修復效果較好。

附圖說明

圖1為相機陣列采集光場的示意圖。