[發明專利]一種聯合彩色圖像的RGB-D相機深度圖像修復方法

有效

• 申請號: 201810174885.5
• 申請日: 2018-03-02
• 公開（公告）號: CN108399632B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 張毅;戴健春;張瀚
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/80;G06T7/12;G06T7/136;G06T5/30;G06T5/00
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

1.一種聯合彩色圖像的RGB-D相機深度圖像修復方法，其特征在于，該方法包括以下步驟：

S1：采用經典的張氏標定法對彩色攝像頭和深度攝像頭進行標定，獲取相機的內外參數；

S2：根據小孔成像原理以及坐標變換實現彩色攝像頭和深度攝像頭坐標對齊；具體包括以下步驟：

S21：經步驟S1得到彩色相機的旋轉矩陣R_rgb和平移向量T_rgb，深度相機的旋轉矩陣R_ir和平移向量T_ir；設P為世界坐標系下的一點，P_rgb與P_ir分別為P在彩色相機和深度相機下的投影坐標點，由小孔成像模型得到關系式：

P_rgb＝R_rgbP+T_rgb

P_ir＝R_irP+T_ir

S22：設p_rgb和p_ir分別為該點在RGB像平面和深度像平面上的投影坐標，由相機的內參矩陣A_rgb和A_ir得到：

p_rgb＝A_rgbP_rgb

p_ir＝A_irP_ir

S23：深度攝像頭的坐標和RGB攝像頭的坐標不同，P_rgb和P_ir用一個旋轉矩陣R和一個平移矩陣T聯系起來，二者的關系為：

P_rgb＝RP_ir+T

S24：由S21等式消去P得到：

S25：聯立S23和S24等式對應項相等得到R和T：

S26：聯立S22和S23等式，最終得到彩色圖像像素點與深度圖像像素點的對應關系為：

S3：分別獲取場景彩色圖像和深度圖像，根據深度閾值法將深度圖像進行二值化；

S4：判斷深度圖像空洞連通域的大小以確定存在空洞；

S5：對深度圖像進行膨脹操作獲取空洞鄰域；S6：計算空洞領域像素點的深度值方差，根據方差的大小將空洞分為遮擋空洞和平面內空洞；具體包括以下步驟：

S61：根據S5獲取的空洞鄰域，計算鄰域內像素點量化后深度值的方差Δ_depth，計算公式如下：

其中D_i表示空洞領域內i像素點的深度值，表示空洞領域深度值均值，i表示像素點編號，N表示空洞鄰域像素點總個數，H_np為空洞領域；

S62：利用S61計算得到的鄰域方差Δ_depth與空洞判斷閾值Δ_th相比較，若空洞鄰域深度方差Δ_depth小于Δ_th則判斷為平面內空洞，若大于等于Δ_th則判斷為遮擋空洞；

S7：根據不同的空洞類型分別采用顏色一致性和領域相似性對兩類空洞進行修復；具體包括：對于判斷為平面內空洞，即該空洞為物體平面內由于不反射紅外光而產生的空洞，由于是存在于一個平面內，該空洞區域的深度值與其鄰域像素點的深度相似，利用領域像素點深度值對齊進行修補；而對于判斷為遮擋空洞，是由于物體相互遮擋而產生的空洞，對于這類空洞修復則利用彩色圖像進行修復，即找出空洞鄰域內與空洞區域內彩色圖像顏色接近的像素點的深度值進行修復；

S8：對修復后的圖像采用局部濾波的方法進行濾波，在保證深度值原始性的同時去除噪聲。