[發(fā)明專利]深度圖超分辨率補全方法及高質(zhì)量三維重建方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910079993.9
• 申請日: 2019-01-28
• 公開（公告）號: CN109903372B
• 公開（公告）日: 2021-03-23
• 發(fā)明（設(shè)計）人: 李建偉;高偉;吳毅紅
• 申請（專利權(quán)）人: 中國科學院自動化研究所
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種用于三維重建的深度圖超分辨率補全方法，其特征在于，所述方法包括：

通過深度超分辨率與補全網(wǎng)絡(luò)SRC-Net從待補全的原始低分辨率LR深度圖像學習，得到高分辨率HR深度圖像；

基于梯度敏感性檢測，剔除所述HR深度圖像中的外點，得到處理后的HR深度圖像；

通過SRC-Net從HR彩色圖像中學習，確定法向圖與邊界圖；

對HR彩色圖像做模糊度度量，得到模糊度信息；

根據(jù)所述法向圖、邊界圖以及模糊度信息，對HR深度圖像進行優(yōu)化，得到補全的HR深度圖。

2.根據(jù)權(quán)利要求1所述的用于三維重建的深度圖超分辨率補全方法，其特征在于，所述基于梯度敏感性檢測，剔除所述HR深度圖像中的外點，得到處理后的HR深度圖像，具體包括：

采用Sobel算子，計算梯度圖G_i：

g_i(u)＝Sobel(u)；

其中，g_i(u)是像素u對應的梯度值；

根據(jù)梯度敏感度，計算掩碼圖像M_i：

其中，m_i(u)是像素u對應的掩碼值，g_h是設(shè)定的梯度閾值；

利用掩碼圖像M_i對高分辨率深度圖D_i做腐蝕操作，去除外點，得到處理后的HR深度圖像。

3.根據(jù)權(quán)利要求1所述的用于三維重建的深度圖超分辨率補全方法，其特征在于，所述對HR彩色圖像做模糊度度量，得到模糊度信息，具體包括：

通過均值濾波器分別對所述HR彩色圖像在水平方向和豎直方向做濾波得到Re-blur圖像；

分別計算原始LR深度圖像和Re-blur圖像的水平和豎直方向上的差分，得到水平差分和豎直差分；

根據(jù)所述水平差分和豎直差分確定原始LR深度圖像與Re-blur圖像的差異圖；

對所述差異圖做求和以及歸一化處理，得到處理圖；

計算所述處理圖的模糊度測度Blur：

Blur＝max(R_H,R_V)

其中，R_H是歸一化后的水平方向差異值，R_V是歸一化后的豎直方向差異值。

4.根據(jù)權(quán)利要求1所述的用于三維重建的深度圖超分辨率補全方法，其特征在于，根據(jù)所述法向圖、邊界圖以及模糊度信息，對HR深度圖像進行優(yōu)化，得到補全的HR深度圖，具體包括：

根據(jù)所述法向圖、邊界圖以及模糊度信息，構(gòu)建目標函數(shù)；

根據(jù)所述目標函數(shù)，對HR深度圖像進行優(yōu)化，得到補全的HR深度圖。

5.根據(jù)權(quán)利要求4所述的用于三維重建的深度圖超分辨率補全方法，其特征在于，根據(jù)所述目標函數(shù)，對HR深度圖像進行優(yōu)化，得到補全的HR深度圖，具體包括：

根據(jù)所述目標函數(shù)，確定優(yōu)化函數(shù)；其中，所述目標函數(shù)包括第一優(yōu)化項、第二優(yōu)化項及第三優(yōu)化項，所述優(yōu)化函數(shù)為第一優(yōu)化項、第二優(yōu)化項及第三優(yōu)化項的加權(quán)和；

E＝λ_DE_D+λ_SE_S+λ_NE_NB_nB_b

其中，第一優(yōu)化項E_D表示在像素p處，估計深度D(p)與觀察到的深度D_o(p)的距離；第三優(yōu)化項E_N表示估計深度與預測表面法線N(p)的一致性；第二優(yōu)化項E_s表示促進相鄰像素之間具有相同的像素，其中v(p,q)表示像素p和像素q之間的切向量，q表示像素p的相鄰像素；B_n∈[0,1]表示根據(jù)一個像素在遮擋邊界B(p)上的預測概率對正常項進行加權(quán)；B_b∈[0,1]表示根據(jù)彩色圖像的模糊度對正常項進行加權(quán)；λ_D、λ_s和λ_N均為預先設(shè)定的參考系數(shù)；

根據(jù)所述優(yōu)化函數(shù)，進行優(yōu)化，得到補全的HR深度圖。