[發明專利]一種基于CBAM的單目無監督深度估計方法

在審

• 申請號: 202110142746.6
• 申請日: 2021-02-02
• 公開（公告）號: CN112950697A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 潘樹國;魏建勝;高旺;趙濤
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 周蔚然

1.一種基于CBAM的單目無監督深度估計方法，其特征在于：包括以下步驟：

步驟1)，引入CBAM同Resblock組合成Resblock-CBAM；

步驟2)，基于Resblock-CBAM設計帶注意力機制的深度估計網絡；

步驟3)，針對立體圖像對的光度重建、視差平滑和左右視差一致性對深度估計網絡進行訓練，并完成對單目圖像的深度估計。

2.根據權利要求1所述的基于CBAM的單目無監督深度估計方法，其特征在于，

步驟1)所述的引入CBAM同Resblock組合成Resblock-CBAM，包括如下具體步驟：

a)，設置CBAM中的通道注意子模塊和空間注意子模塊為順序連接，然后將CBAM與Resblock并行連接形成Conventional Resblock-CBAM，最后的輸出方程如式(1)所示：

F_c＝F_r+F″_r (1)

式中，為Resblock的輸出特征，為CBAM空間注意子模塊的輸出特征，為Conventional Resblock-CBAM的輸出特征；

b)，設置CBAM中的通道注意子模塊和空間注意子模塊為順序連接，然后將CBAM與Resblock串行連接形成Modified Resblock-CBAM，最后的輸出方程如式(2)所示：

F_M＝F″_r (2)

式中，為Modified Resblock-CBAM的輸出特征；

c)，CBAM中通道注意子模塊和空間注意子模塊的具體過程如式(3)所示：

式中為CBAM通道注意子模塊的輸出特征；為一維通道的注意力映射圖，為二維空間注意力映射圖，表示逐像素相乘。

3.根據權利要求2所述的基于CBAM的單目無監督深度估計方法，其特征在于，所述通道注意子模塊的具體過程如式(4)所示：

式中σ表示sigmoid函數，MLP為多成感知器，ω₀、ω₁是多層感知器的權重，為最大池化和平均池化對應的通道描述子。

4.根據權利要求2所述的基于CBAM的單目無監督深度估計方法，其特征在于，所述通道注意子模塊的具體過程如式(4)所示：空間注意子模塊的具體過程如式(5)所示：

式中f^7×7表示7×7濾波器的卷積操作，為最大池化和平均池化對應的空間描述子。

5.根據權利要求1所述的基于CBAM的單目無監督深度估計方法，其特征在于，步驟2)所述的基于Resblock-CBAM設計帶注意力機制的深度估計網絡，包括如下具體步驟：

a)，在深度估計網絡的編碼器中順序使用四個Resblock-CBAM，前三個是ConventionalResblock-CBAM，第四個是Modified Resblock-CBAM；

b)，在深度估計網絡的編碼器中使用五個跳接層，其中第一個跳接層連接編碼器中第一個卷積層和解碼器中第二個上卷積層，第二個跳接層連接編碼器中第一個池化層和解碼器中第三個上卷積層，第三個跳接層連接第一個Conventional Resblock-CBAM和解碼器中第四個上卷積層，第四個跳接層連接第二個Conventional Resblock-CBAM和解碼器中第五個上卷積層，第五個跳接層連接第三個Conventional Resblock-CBAM和解碼器中第六個上卷積層，而Modified Resblock-CBAM不含跳接層直接與解碼器相連接。

6.根據權利要求1所述的基于CBAM的單目無監督深度估計方法，其特征在于，步驟3)所述的針對立體圖像對的光度重建、視差平滑和左右視差一致性對深度估計網絡進行訓練，并在測試時對單目圖像深度估計，包括如下具體步驟：

a)，深度估計網絡的總訓練損失包括光度重建損失、視差平滑損失和左右視差一致性損失，如式(6)所示：

式中L為深度估計網絡的總訓練損失，L_s為各尺度訓練損失，α_ap、α_ds和α_ap分別表示光度重建損失、視差平滑損失和左右視差一致性損失的權重系數，表示左、右圖像的光度重建損失，表示左、右圖像的視差平滑損失，表示左、右圖像的視差一致性損失；

b)，使用圖像光度重建損失衡量輸入源圖像和其相對應的重建圖像之間的差異，左圖像的光度重建損失如式(7)所示：

式中為左圖像光度重建損失，N為單張圖像像素量，為左圖像，為重建的左圖像，SSIM為結構相似函數，α₁為SSIM函數的比例參數，右圖像光度重建損失和具有相同的形式；

c)，使用視差平滑損失改善深度圖在圖像梯度處的陡變和不連續，左圖像的視差平滑損失如式(8)所示：

式中為左圖像的視差平滑損失，為左圖像的視差圖，右圖像的視差平滑損失和具有相同的形式；

d)，使用左右視差一致性損失提高網絡對深度圖的估計精度，左圖像的左右視差一致性損失如式(9)所示：

式中為左圖像的視差一致性損失，α₂為SSIM函數的比例參數，為右圖映射的視差圖，右圖像的視差一致性損失和具有相同的形式。