[發明專利]一種Kinectv2深度圖像無效點修復方法

有效

• 申請號: 201810402035.6
• 申請日: 2018-04-28
• 公開（公告）號: CN108629756B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 陳東岳;熊新立;張武衛;賈同
• 申請（專利權）人: 東北大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/55
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 李馨

本發明提供一種Kinect v2深度圖像無效點修復方法。本發明方法，包括：S1：通過Kinect v2相機分別捕獲同一場景中的多模態圖像；S2:通過張正友相機標定方法完成Kinect v2中彩色相機和深度相機的內外參數的標定，進而完成彩色圖像和原始深度圖像的配準；S3：通過遍歷原始深度圖像完成原始深度圖像中無效點的標記，統計無效點八鄰域內有效深度值出現的頻率，計算該頻數下有效深度值的標準差，進而完成無效點填充優先級的評估；S4：計算無效點對應彩色圖像中的像素點相似度最高的像素坐標，根據無效點填充的優先級修復所述像素坐標對應的深度圖像無效點。本發明不僅能夠修復原始深度圖像中的無效點，而且能夠提高修復結果的可靠性，可在圖像處理領域廣泛推廣。

技術領域

本發明涉及圖像處理領域，尤其涉及一種Kinect v2深度相機獲取的深度圖像中無效點修復方法。

背景技術

深度相機作為一款新的傳感器，它已被廣泛應用于人機交互游戲、智能移動機器人、增強現實及三維模型重建等各個領域。其中最流行的是微軟發布的Kinect系列的最新版本—Kinect v2。它同時集成了分辨率為1920*1080的彩色攝像機，高精度的紅外光投射儀以及分辨率為512*424的深度成像儀。Kinect V2使用TOF技術測量場景中物體的深度，該技術通過測量紅外光發射和接受的時間差來計算相機平面和物體間的距離。

相比于其他深度相機，盡管Kinect v2捕獲的深度圖像在精度與魯棒性上有相對較高的可靠性，但它仍然存在一些局限性。根據Kinect v2的深度測量機制，Kinect v2獲取的深度圖像可能會含有三種不同類型的無效點(深度值為零的像素點)。(1)由于Kinect V2深度相機視野擴大，造成返回的紅外光強度減弱，進而導致深度成像儀無法捕獲到返回的紅外光，產生第一類無效點。(2)由于場景的遮擋，深度成像儀無法捕獲到紅外光，產生第二類無效點。(3)由于物體表面的反射率太低或深度相機與物體相距太近或太遠，造成深度成像儀無法計算發射紅外光與接受紅外光之間的相位差，產生第三類無效點。

由于深度圖像中無效點的存在，在一定程度上降低了人機交互的真實感，三維重建模型的精度等問題，這一問題引起了國內外學者的廣泛研究，并提出了很多關于深度圖像修復的方法。這些方法基本可以分為兩類：一類是基于彩色圖像引導的修復方法；另一類是基于深度圖像像素分布的修復方法。但現有技術的方法或多或少都存在不能大面積修復遮擋造成的無效點、不能很好地修復深度圖像視野周圍出現的無效點、不能很好地修復因深度相機視野擴大引起的無效點等弊端。

發明內容

根據上述提出的技術問題，而提供一種修復效果可靠的Kinect v2深度圖像無效點修復方法。本發明采用的技術手段如下：

一種Kinect v2深度圖像無效點修復方法，包括如下步驟：

S1：通過Kinect v2相機分別捕獲同一場景中的多模態圖像，所述多模態圖像為彩色圖像和原始深度圖像；

S2:通過張正友相機標定方法完成Kinect v2中彩色相機和深度相機的內外參數的標定，從而計算出彩色相機和深度相機坐標系之間的旋轉矩陣和平移向量，進而完成彩色圖像和原始深度圖像的配準；

S3：通過遍歷原始深度圖像完成深度圖像中無效點的標記，計算無效點八鄰域內有效深度值的頻率，并計算該頻率下有效深度值的標準差，進而完成無效點填充優先級的評估；

S4：通過原始深度圖像中的無效點索引對應的彩色圖像像素點的像素值，同時索引無效點八鄰域內有效深度值點對應的彩色圖像像素點的真實像素值，進而計算無效點對應彩色圖像中的像素點相似度最高的像素坐標，根據無效點填充的優先級修復所述像素坐標對應的深度圖像無效點。

進一步地，S1具體包括如下步驟：

S101:搭建多模態圖像采集系統；