[發明專利]一種Kinectv2深度圖像無效點修復方法

有效

• 申請號: 201810402035.6
• 申請日: 2018-04-28
• 公開（公告）號: CN108629756B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 陳東岳;熊新立;張武衛;賈同
• 申請（專利權）人: 東北大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/55
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 李馨

1.一種Kinect v2深度圖像無效點修復方法，其特征在于，包括如下步驟：

S1：通過Kinect v2相機分別捕獲同一場景中的多模態圖像，所述多模態圖像為彩色圖像和原始深度圖像；

S2:通過張正友相機標定方法完成Kinect v2中彩色相機和深度相機的內外參數的標定，從而計算出彩色相機和深度相機坐標系之間的旋轉矩陣和平移向量，進而完成彩色圖像和原始深度圖像的配準；

S3：通過遍歷原始深度圖像完成原始深度圖像中無效點的標記，統計無效點八鄰域內有效深度值的出現的頻率，計算該頻率下有效深度值的標準差，進而完成無效點填充優先級的評估；

S4：通過原始深度圖像中的無效點索引對應的彩色圖像像素點的像素值，同時索引無效點八鄰域內有效深度值點對應的彩色圖像像素點的真實像素值，進而計算無效點對應彩色圖像中的像素點相似度最高的像素坐標，根據無效點填充的優先級修復所述像素坐標對應的深度圖像無效點；

S1具體包括如下步驟：

S101:搭建多模態圖像采集系統；

S102:同時啟動Kinect v2中的彩色視頻流和深度視頻流，獲取同一場景中的彩色和深度圖像；

S2具體包括如下步驟：

S201:通過Kinect v2相機同時獲取同一時刻，同一位置的彩色和深度棋盤格圖像；

S202:利用Opencv3中張正友標定函數，分別完成彩色和深度相機的內外參數的標定，即計算彩色和深度相機的內參矩陣(K_c,K_d)和彩色相機的外參矩陣(R_c,T_c)、深度相機的外參矩陣(R_d,T_d)；

S203：根據相機成像原理，將圖像坐標系與相機坐標系通過如下方程式進行轉換：

其中p_c和p_d分別表示彩色和深度圖像中一點，P_c,P_d分別表示相應的彩色相機和深度相機坐標系下的對應點；

S204：根據相機模型，任意兩個坐標系之間的相對位置關系都可以通過旋轉矩陣R和平移向量T描述，通過如下方程式進行轉換：

P_c＝RP_d+T (3)

其中公式(2)分別表示彩色相機坐標系，深度相機坐標系與世界坐標系之間的變換關系，公式(3)表示深度相機坐標系與彩色相機坐標系之間的關系，P_w表示世界坐標系下的任意一點，

通過公式(1)，(2)，分別得到旋轉矩陣R和平移向量T如下：

通過公式(1)，(3)，(4)得出彩色圖像與深度圖像之間配準關系如下：

通過公式(5)，獲取深度圖像對應的彩色圖像，即完成彩色和深度圖像的配準及對齊；

S3具體包括如下步驟：

S301：通過遍歷原始深度圖像中所有深度值為零的點完成深度圖像中無效點的標記，具體表現為：通過二維向量保存無效點的坐標值；

S302：通過無效點的標記坐標，計算無效點八鄰域內有效深度值的概率p(d(s)|{d(s′)|s′∈Ω_sd(s′)＞0})，為了簡化系統的時間復雜度，通過如下公式計算其等價的有效深度值出現的頻率n_v(s)，

n_v(s)＝N/Ω_s (6)

其中，N為無效點八鄰域的有效深度值的個數，Ω_s為無效深度點的八鄰域；

在頻率n_v(s)的基礎上，通過如下公式計算無效點八鄰域內有效深度值的標準差σ_d(s)：

其中

其中，d(s)表示深度圖像中任意無效深度點s的深度像素值，d(s′)表示s八鄰域內有效深度值點s′的深度像素值，ψ_s＝{s′|s′∈Ω_s,d(s′)＞0}表示無效深度點s八鄰域內有效深度值的集合，μ_d(s)表示無效深度點s八鄰域內有效深度值的均值；

S303：計算已標記的無效點八鄰域內有效深度值出現的頻率n_v(s)，根據n_v(s)和標準差σ_d(s)，通過如下公式計算無效點的優先級評估函數R(s)：

其中，1/C_σ是歸一化參數，該參數能夠使σ_d(s)/C_σ處于[0,1]。

2.根據權利要求1所述的Kinect v2深度圖像無效點修復方法，其特征在于，S4具體包括如下步驟：

S401：利用Opencv3中的cvtColor函數將與深度圖像對齊的RGB空間的彩色圖像變換到Lab色彩空間；

S402：根據S201-S204計算的彩色相機和深度相機的內參矩陣(K_c,K_d)及兩相機之間的旋轉矩陣R和平移向量T，得到深度圖像中任一有效深度值對應的原始彩色圖像的像素坐標的關系如下：

其中(x,y)表示原始彩色圖像中坐標，(u,v)表示原始深度圖像中的坐標，Z_c表示彩色相機與物體表面之間的距離，d表示深度相機與物體表面之間的距離；

S403：假設無效點八鄰域內任一有效深度值為該無效點的修復深度值，即：d(s)＝d_i(s′)，通過公式(10)分別計算出其對應原始彩色圖像中的像素坐標，從而索引其對應的彩色像素值c_i(s)，將c_i(s)從RGB色彩空間變換到Lab色彩空間，然后分別在對齊的彩色圖像上索引無效點八鄰域內有效深度值點對應彩色圖像中的真實彩色像素值c_i(s′)，通過相似度度量關系，計算與無效點s對應彩色圖像中的像素點相似度最高的像素坐標，相似度度量關系如下：

其中ψ_s＝{s′|s′∈Ω_s,d(S′)＞0}表示無效深度點s八鄰域內有效深度值的集合，c_i(s)[L],c_i(s)[a],c_i(s)[b]分別表示彩色像素值c_i(s)在L,a,b三個通道上的像素值，c_i(s′)[L],c_i(s′)[a],c_i(s′)[b]分別表示真實彩色像素值c_i(s′)在L,a,b三個通道上的像素值；

S404：根據公式(9)優先級評估函數計算的無效點修復秩序，迭代應用公式(11)求解的像素坐標對應的深度值修復無效點，從而完成深度圖像中全部無效點的修復。