[發明專利]深度圖像的超分辨率重建方法、裝置、設備及存儲介質

在審

• 申請號: 201710557157.8
• 申請日: 2017-07-10
• 公開（公告）號: CN107392852A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 王旭;溫煒杰;江健民
• 申請（專利權）人: 深圳大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 深圳青年人專利商標代理有限公司44350
• 代理人: 吳桂華

1.一種深度圖像的超分辨率重建方法，其特征在于，所述方法包括下述步驟：

對輸入的低分辨率深度圖和對應的高分辨率彩色圖進行預處理，以獲取所述低分辨率深度圖的高頻信息圖像和低頻信息圖像、以及所述高分辨率彩色圖的高頻信息圖像；

對所述低分辨率深度圖的高頻信息圖像和所述高分辨率彩色圖的高頻信息圖像分別進行特征提取，對提取得到的特征圖分別進行預設的全卷積操作，生成所述低分辨率深度圖的高頻全卷積特征圖和所述高分辨率彩色圖的高頻全卷積特征圖；

對所述低分辨率深度圖的高頻全卷積特征圖進行放大，以得到所述低分辨率深度圖的放大后高頻全卷積特征圖；

對所述低分辨率深度圖的放大后高頻全卷積特征圖和所述高分辨率彩色圖的高頻全卷積特征圖進行全卷積特征融合，對所述特征融合得到的融合圖像進行重建，以得到重建后高頻圖像；

根據所述重建后高頻圖像的尺寸對所述低分辨率深度圖的低頻信息圖像進行放大，將所述重建后高頻圖像與所述低分辨率深度圖的放大后低頻信息圖像進行疊加，以得到所述低分辨率深度圖對應的高分辨率深度圖像，輸出所述高分辨率深度圖像。

2.如權利要求1所述的方法，其特征在于，對輸入的低分辨率深度圖和對應的高分辨率彩色圖進行預處理的步驟，包括：

使用預設的濾波公式h(F)＝F-W_G*F對所述低分辨率深度圖和所述高分辨率彩色圖進行濾波預處理，分別得到所述低分辨率深度圖和所述高分辨率彩色圖的低頻信息圖像，其中，所述F表示所述低分辨率深度圖或所述高分辨率彩色圖，所述W_G為二維的高斯卷積核，所述*表示卷積操作；

去掉所述低分辨率深度圖和所述高分辨率彩色圖的低頻信息圖像，分別得到所述低分辨率深度圖和所述高分辨率彩色圖的高頻信息圖像。

3.如權利要求1所述的方法，其特征在于，對所述低分辨率深度圖的高頻信息圖像和所述高分辨率彩色圖的高頻信息圖像分別進行特征提取，并對提取得到的特征圖分別進行預設的全卷積操作的步驟，包括：

使用公式對所述低分辨率深度圖的高頻信息圖像進行卷積操作，以得到所述低分辨率深度圖的高頻信息圖像的特征圖，其中，所述表示上一卷積層輸出的結果，所述W_i^D和分別表示卷積層的卷積核和偏置，所述σ_i()為激活函數；

使用公式對所述高分辨率彩色圖的高頻信息圖像進行卷積操作，以得到所述高分辨率彩色圖的高頻信息圖像的特征圖，其中，所述i表示當前卷積層，所述表示上一卷積層輸出的結果，所述W_i^Y和分別表示所述當前卷積層的卷積核和偏置；

使用公式F_i＝σ(W_i*F_i-1+B_i)分別對所述低分辨率深度圖的高頻信息圖像的特征圖和所述高分辨率彩色圖的高頻信息圖像的特征圖進行所述全卷積操作，生成所述低分辨率深度圖的高頻全卷積特征圖和所述高分辨率彩色圖的高頻全卷積特征圖，所述W_i和B_i分別表示所述當前卷積層i的卷積核和偏置，所述F_i-1為上一卷積層輸出的結果。

4.如權利要求1所述的方法，其特征在于，對所述低分辨率深度圖的放大后高頻全卷積特征圖和所述高分辨率彩色圖的高頻全卷積特征圖進行全卷積特征融合，并對所述特征融合得到的融合圖像進行重建，以得到重建后高頻圖像的步驟，包括：

使用公式F_k＝σ(W_k*(F^Y,F^D)+B_k)對所述低分辨率深度圖的放大后高頻全卷積特征圖F^D和所述高分辨率彩色圖的高頻全卷積特征圖F^Y進行全卷積特征融合，以得到所述融合圖像，其中，所述W_k為卷積層k的卷積核，所述B_k為所述卷積層k的偏置；

對所述融合圖像在融合過程中重疊部分的圖像塊進行平均處理，將得到的圖像設置為所述重建后高頻圖像。