[發明專利]深度圖增強方法和深度圖增強裝置

有效

• 申請號: 201611093936.9
• 申請日: 2016-12-01
• 公開（公告）號: CN108133459B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 楊帥;劉家瑛;宋思捷;郭宗明
• 申請（專利權）人: 北京大學;北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京友聯知識產權代理事務所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

1.一種深度圖增強方法，其特征在于，包括：

對訓練集圖像的多個圖像特征信息進行提取，得到所述多個圖像特征信息的第一聯合特征；

對測試集圖像的多個圖像特征信息進行提取，得到所述多個圖像特征信息的第二聯合特征；

基于所述第一聯合特征與所述第二聯合特征的相似性，查找所述測試集圖像在所述訓練集圖像的對應部分的最近鄰；

根據查找到的所述最近鄰，對所述測試集圖像進行鄰域嵌入，用以重建所述測試集圖像的高頻信息、低頻信息和梯度信息；

利用全局優化方程結合所述高頻信息、所述低頻信息和所述梯度信息，得到增強后的測試集圖像；

在所述對訓練集圖像的多個圖像特征信息進行提取，得到所述多個圖像特征信息的第一聯合特征之前，還包括：

接收高分辨率深度圖和相關的高分辨率彩色圖，用以組建所述訓練集；

接收低分辨率深度圖和對應的高分辨率彩色圖，用以組建所述測試集；

所述對訓練集圖像的多個圖像特征信息進行提取，得到所述多個圖像特征信息的第一聯合特征，具體包括：

根據所述訓練集圖像的高層語義信息，分解所述訓練集圖像，得到多個訓練集子構件；

將所述多個訓練集子構件分別分割成多個訓練集圖像塊；

分別提取所述多個訓練集圖像塊的所述多個圖像特征信息構成所述第一聯合特征；

其中，所述多個圖像特征包括顏色特征、高頻深度特征、低頻深度特征和位置特征，所述訓練集圖像塊包括高分辨率深度圖圖像塊和相關的高分辨率彩色圖圖像塊。

2.根據權利要求1所述的深度圖增強方法，其特征在于，所述對測試集圖像的多個圖像特征信息進行提取，得到所述多個圖像特征信息的第二聯合特征，具體包括：

根據所述測試集圖像的高層語義信息，分解所述測試集圖像，得到多個測試集子構件；

將所述多個測試集子構件分別分割成多個測試集圖像塊；

分別提取所述多個測試集圖像塊的所述多個圖像特征信息構成所述第二聯合特征；

其中，所述多個圖像特征包括顏色特征、深度特征和位置特征，所述測試集圖像塊包括低分辨率深度圖圖像塊和對應的高分辨率彩色圖圖像塊。

3.根據權利要求2所述的深度圖增強方法，其特征在于，所述分別提取所述多個訓練集圖像塊的所述多個圖像特征信息構成所述第一聯合特征，具體包括：

提取所述低頻深度特征：

其中，y_l為所述低頻深度特征，是將所述高分辨率深度圖圖像塊y進行下采再上采的低頻結果；和表示一階和二階導數，y_norm是歸一化后的所述高分辨率深度圖圖像塊y；

提取所述顏色特征：

y_c＝[I_norm；I_edge]

其中，y_c為所述顏色特征，I_norm是歸一化的圖像灰度，I_edge是所述高分辨率彩色圖像的邊緣信息；

提取所述位置特征：

y_p＝[u/W；v/H]

其中，y_p為所述位置特征，(u,v)是y中心點的坐標，(W,H)是所述訓練集子構件的長寬；

提取所述高頻深度特征：

其中，y_h為所述高頻深度特征，是所述高頻信息，是所述梯度信息；

組成所述第一聯合特征[y_l,y_c,y_p,y_h]。