[發明專利]一種基于深度學習的單目視覺深度估計方法

在審

• 申請號: 202110185998.7
• 申請日: 2021-02-13
• 公開（公告）號: CN112819876A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 張怡;程澤宇;唐成凱;張玲玲;宋哲;孫品先
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T7/50
• 分類號: G06T7/50
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 陳星

1.一種基于深度學習的單目視覺深度估計方法，其特征在于：包括以下步驟：

步驟1：將待估計圖像輸入編碼網絡；

所述編碼網絡包括卷積層1、注意力機制模塊、最大池化層、N個卷積塊；

所述注意力機制模塊由通道注意力模塊和空間注意力模塊組成；其中通道注意力模塊為一個一維的映射H_c∈R^C×1×1，空間注意力模塊為一個二維映射H_s∈R^1×H×W；

待估計圖像經過卷積層1之后輸出特征圖A∈R^C×H×W，其中C為通道數，H和W為特征圖的高和寬；特征圖A經過注意力機制模塊后輸出A″：

式中表示逐元素相乘，在相乘的過程中，通道注意力值沿著空間維度傳播，空間注意力的值沿著通道維度傳播；

特征圖A″依次通過最大池化層和N個卷積塊，最終得到編碼網絡輸出A″′；

步驟2：將編碼網絡輸出A″′輸入解碼網絡；

所述解碼網絡包括N+1個解碼塊；每個解碼塊又分別由各自的卷積層A，卷積層B構成；

編碼網絡最終輸出的A″′進入解碼網絡之后，首先進入解碼塊1，經過解碼塊1中的卷積層A將通道數降低，再與編碼網絡中卷積塊N-1輸出的特征圖進行通道維度的拼接操作，再進入解碼塊1中的卷積層B，處理完成后經過一個輸出通道為1的卷積操作得到當前尺度的深度圖；

解碼塊1的輸出再進入解碼塊2，經過解碼塊2中的卷積層A將通道數降低，再與編碼網絡中卷積塊N-2輸出的特征圖進行通道維度的拼接操作，再進入解碼塊2中的卷積層B，處理完成后經過一個輸出通道為1的卷積操作得到當前尺度的深度圖；

依次類推，解碼塊N-1的輸出再進入解碼塊N，經過解碼塊N中的卷積層A將通道數降低，再與編碼網絡中卷積層1輸出的特征圖進行通道維度的拼接操作，再進入解碼塊N中的卷積層B，處理完成后經過一個輸出通道為1的卷積操作得到當前尺度的深度圖；

解碼塊N的輸出再進入解碼塊N+1，經過解碼塊N+1中的卷積層A將通道數降低，再進入解碼塊N+1中的卷積層B，處理完成后經過一個輸出通道為1的卷積操作得到當前尺度的深度圖；

共得到N+1個尺度的深度圖；

步驟3：將步驟2得到的N+1個尺度的深度圖分別插值到圖像原有的尺度大小，并根據

計算損失，其中D′為根據估計出的深度圖以及圖像與參考幀之間的相對位姿變換矩陣得出的變換深度圖，D″為根據D′的像素坐標以及參考幀估計的深度圖插值得到的插值深度圖，p為像素，V為圖像的像素數量；通過上述公式計算不同尺度下的損失之后，再將這些損失相加就得到了最終的損失值loss；

步驟4：通過最小化損失值使得整個網絡形成閉環，進行迭代訓練，最終得到訓練完成的編解碼網絡，并采用訓練好的編解碼網絡進行單目視覺深度估計。

2.根據權利要求1所述一種基于深度學習的單目視覺深度估計方法，其特征在于：在所述通道注意力模塊中，輸入的特征圖A分成兩路分別進行平均池化和最大池化操作，特征圖大小變為R^C×1×1；再經過多層感知機后，特征圖大小變為R^C/r×1×1，r為減少率；之后兩路數據經過⊙處理，所述⊙處理是指經過一個對應位置相加的操作以及一個sigmoid函數；所述通道注意力模塊中的整體處理過程表示為

H_c(A)＝σ(MLP(AvgPool(A))+MLP(MaxPool(A)))

其中σ為sigmoid函數，AvgPool表示平均池化，MaxPool表示最大池化，MLP表示多層感知機操作。

3.根據權利要求1或2所述一種基于深度學習的單目視覺深度估計方法，其特征在于：在所述空間注意力模塊中，輸入的特征圖A′先經過一個卷積層a，將特征圖的通道數減半；再分成兩路分別進行通道維度上的平均池化和最大池化的操作，將通道的數量降為1，特征圖大小分別為R^1×H×W；再將兩路數據進行通道維度上的拼接，最后再經過一個卷積層b以及sigmoid函數，得到最終空間注意力模塊的處理結果H_s(A′)；所述空間注意力模塊中的整體處理過程表示為

其中σ為sigmoid函數，為核函數為1×1的卷積層a，為核函數為7×7的卷積層b。