[發明專利]一種基于小波的細節增強無監督深度估計方法

有效

• 申請號: 202110321996.6
• 申請日: 2021-03-25
• 公開（公告）號: CN112991450B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 肖春霞;羅飛;鄭旭輝
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/269;G06T3/40;G06T5/10;G06T5/20;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 齊晨涵

1.一種基于小波的細節增強無監督深度估計方法，其特征在于，包括以下步驟：

步驟S1：利用圖像的小波分解，將輸入的單幅圖像分解成一個低頻和三個高頻的子帶，并對低頻進行進一步的分解，得到多級的小波分解的高低頻子帶；

步驟S2：將圖像輸入到深度估計網絡中，并且將步驟S1中得到的高頻子帶整合到網絡的解碼器中，得到圖像的深度圖；

步驟S3：將視頻中的前后兩幀輸入到位姿估計網絡中，估算出對應的相機位姿；

步驟S4：將步驟S3中輸入的前后幀圖像輸入到光流網絡中，估算前后幀的光流，生成圖像遮擋區域的遮罩；步驟S4的具體過程如下：在網絡框架中中加上一個光流估計網絡，生成光流，同時處理像素遮擋，遮罩用于損失計算中處理遮擋像素；

其中，網絡的輸入：視頻幀的前后兩幀，首先將網絡輸入到光流估計的網絡編碼器中，編碼器部分有6層卷積層，最后分別得到兩幀圖像對應的特征f1，f2；然后對得到的特征計算一個相關系數，具體公式為：c(x₁，x₂)＝∑_{o∈[-k，k]×[-k，k]}＜f₁(x₁+o)，f₂(x₂+o)＞，其中，f₁，f₂是兩張特征圖，比較的是在f₁以x₁為中心，在f₂以x₂為中心，以k為大小的圖像塊，通過計算兩個特征圖中所有的圖像塊的相關系數得到全局的相關系數；

網絡的解碼器部分輸入是之前計算的相關系數，解碼器部分一共有6個卷積層，通過6次上采樣得到原圖尺寸大小的光流和遮罩，每個卷積層都會生成一個光流估計的結果和一個遮罩，并且經過上采樣之后輸入到下一層中，解碼器的每一層輸入之前都會計算一次相關系數，除了第一層外，后面的每一層在計算相關系數的時候都會結合光流做一次變形卷積并且乘上遮罩，最后得到的遮罩做一個二值化處理，用于去掉圖像重建中的遮擋區域；

步驟S5：利用當前幀圖像以及步驟S2得到的圖像的深度圖和步驟S3得到的相機位姿，并通過雙線性插值的方式合成目標幀的圖像；

步驟S6：利用步驟S5得到的合成圖像與原圖像，以及步驟S4得到的遮罩計算損失，通過反向傳播的方式訓練網絡；

步驟S7：步驟S6經過多次的迭代完成對網絡的訓練，將單幅圖片輸入到訓練好的網絡中得到對應的深度圖。

2.根據權利要求1所述的方法，其特征在于：

所述步驟S1中低頻子帶包含圖像的內容信息，高頻子帶包含圖像的水平、垂直和對角線信息。

3.根據權利要求2所述的方法，其特征在于：

步驟S1中的多級分解為6級，分解過程中將圖像的尺寸降低為分解前的尺寸的一半，網絡的解碼器部分對網絡的特征進行上采樣，將圖像進行6級分解后，得到的6級特征與網絡的尺寸剛好與解碼器部分的特征相同。

4.根據權利要求3所述的方法，其特征在于：

步驟S6中，通過網絡估計出來的深度圖、相機位姿和當前幀圖像合成目標幀圖像，合成圖像與原圖計算損失后以達到網絡訓練的目標；

具體的，利用Structure from Motion(運動恢復結構)的理論合成目標幀圖像，具體公式如下：

I_t0→t1～KT_t0→t1D_tK^-1I_t0

其中，I_t0→t1表示合成的目標幀圖像，I_t0表示當前幀圖像，K表示相機的內參，T_t0→t1表示從當前幀到目標幀的相機位姿，D_t表示I_t0對應的深度圖。

5.根據權利要求1所述的方法，其特征在于：

本方案計算了三項損失，分別為重投影損失、梯度損失和小波高頻損失；計算損失時，利用步驟S4得到的遮罩做處理排除遮擋像素點造成的誤差。