[發明專利]深度圖像的處理方法及裝置

有效

• 申請號: 201610041993.6
• 申請日: 2016-01-21
• 公開（公告）號: CN105741265B
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 陳世峰;呂浩
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 張全文

1.一種深度圖像的處理方法，其特征在于，包括：

輸入深度圖像及其對應的彩色圖像，所述深度圖像和所述彩色圖像已預先配準完畢且尺寸相同；

從所述彩色圖像中提取邊界圖像，并基于所述邊界圖像確定邊界掩膜；

基于所述邊界掩膜，通過預設的濾波器對所述深度圖像進行多個預設方向的濾波，得到對應的多個濾波候選結果；

通過馬爾科夫隨機場模型將所述多個濾波候選結果融合為所述深度圖像的深度信息補全結果；

所述基于所述邊界圖確定邊界掩膜包括：

對于需要濾波填補的像素p的深度值D_p，定義對應的邊界掩膜M：

其中，所述p和所述q分別為所述深度圖像中的像素點，所述Ω是所述預設的濾波器的空間域窗口，所述Λ是所述邊界圖像的邊界像素集合；

所述預設的濾波器為：

其中，所述是像素p填補后的深度值，所述是填補像素p之前深度圖像中像素q的深度值，所述I_p和所述I_q分別是所述彩色圖像中像素p和像素q的色彩值，所述k_p為一個歸一化參數，所述Ω是濾波器的空間域窗口，所述f為空間濾波核，所述g為亮度濾波核。

2.如權利要求1所述的方法，其特征在于，所述通過預設的濾波器對所述深度圖像進行多個預設方向的濾波包括：

通過所述預設的濾波器對所述深度圖像進行四個方向的濾波，所述四個方向包括：左上到右下，左下到右上，右上到左下，以及右下到左上。

3.如權利要求1所述的方法，其特征在于，所述通過馬爾科夫隨機場模型將所述多個濾波候選結果融合為所述深度圖像的深度信息補全結果包括：

通過最小化馬爾科夫隨機場模型的能量函數，確定每個填補的像素p對應的標簽l_p，所述標簽l_p用于指明該像素p的填補結果為所述多個濾波候選結果中的其中一個；

所述能量函數E為：

其中，所述d_p是所述標簽l_p的懲罰值，所述是鄰域像素對的集合，所述V_pq代表像素p取l_p且像素q取l_q的懲罰值，所述λ是一個權重參數。

4.一種深度圖像的處理裝置，其特征在于，包括：

輸入單元，用于輸入深度圖像及其對應的彩色圖像，所述深度圖像和所述彩色圖像已預先配準完畢且尺寸相同；

確定單元，用于從所述彩色圖像中提取邊界圖像，并基于所述邊界圖像確定邊界掩膜；

濾波單元，用于基于所述邊界掩膜，通過預設的濾波器對所述深度圖像進行多個預設方向的濾波，得到對應的多個濾波候選結果；

補全單元，用于通過馬爾科夫隨機場模型將所述多個濾波候選結果融合為所述深度圖像的深度信息補全結果；

所述確定單元具體用于：

對于需要濾波填補的像素p的深度值D_p，定義對應的邊界掩膜M：

其中，所述p和所述q分別為所述深度圖像中的像素點，所述Ω是所述預設的濾波器的空間域窗口，所述Λ是所述邊界圖像的邊界像素集合；

所述預設的濾波器為：

其中，所述是像素p填補后的深度值，所述是填補像素p之前深度圖像中像素q的深度值，所述I_p和所述I_q分別是所述彩色圖像中像素p和像素q的色彩值，所述k_p為一個歸一化參數，所述Ω是濾波器的空間域窗口，所述f為空間濾波核，所述g為亮度濾波核。

5.如權利要求4所述的裝置，其特征在于，所述濾波單元具體用于：

通過所述預設的濾波器對所述深度圖像進行四個方向的濾波，所述四個方向包括：左上到右下，左下到右上，右上到左下，以及右下到左上。

6.如權利要求4所述的裝置，其特征在于，所述補全單元具體用于：

通過最小化馬爾科夫隨機場模型的能量函數，確定每個填補的像素p對應的標簽l_p，所述標簽l_p用于指明該像素p的填補結果為所述多個濾波候選結果中的其中一個；

所述能量函數E為：

其中，所述d_p是所述標簽l_p的懲罰值，所述是鄰域像素對的集合，所述V_pq代表像素p取l_p且像素q取l_q的懲罰值，所述λ是一個權重參數。