[發明專利]基于聯合自注意力機制的單目深度方法

在審

• 申請號: 202110239390.8
• 申請日: 2021-03-04
• 公開（公告）號: CN112967327A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 張玉亮;趙智龍;付煒平;孟榮;范曉丹;劉洪吉;張寧;王東輝;張東坡;李興文;曾建生
• 申請（專利權）人: 國網河北省電力有限公司檢修分公司;國家電網有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06N3/04;G06N3/08
• 代理公司: 石家莊新世紀專利商標事務所有限公司 13100
• 代理人: 張曉龍

1.一種基于聯合自注意力機制的單目深度方法，其特征在于，其包括如下步驟：

(1)獲取多個原始訓練樣本，并對該原始訓練樣本進行數據增強操作，生成訓練數據集，其中原始訓練樣本包括原始場景圖與原始深度圖；

(2)構建以DenseNet為骨干網絡的，結合空間自注意力模塊和通道自注意力模塊的基于聯合注意力模塊的編碼器；

(3)構建以U-net為骨干網絡的解碼器；

(4)將編碼器與解碼器通過ASPP模塊進行連接，作為特征提取架構；

(5)使用步驟(1)中生成的訓練數據集并結合損失函數進行訓練，并用訓練完成后的最終模型對輸入圖像進行深度預測。

2.根據權利要求1所述的一種基于聯合自注意力機制的單目深度方法，其特征在于，步驟(1)中，所述數據增強操作包括圖像裁剪、隨機翻轉、顏色抖動以及隨機旋轉。

3.根據權利要求2所述的一種基于聯合自注意力機制的單目深度方法，其特征在于，步驟(1)中，所述訓練數據集包括裁剪后的原始訓練樣本、翻轉訓練樣本、顏色抖動訓練樣本以及旋轉訓練樣本。

4.根據權利要求1所述的一種基于聯合自注意力機制的單目深度方法，其特征在于，步驟(2)中，所述空間自注意力機制為：記輸入特征圖為X∈R^C×H×W，高度為H，寬度為W，通道數為C；將特征矩陣X通過四個3×3的卷積層，各卷積層間不共享權值，得到四個特征圖，記為:

其中，r為下采樣率；

調整M_j，j＝2,3,4的形狀；

調整M₂的形狀，記為

調整M₃、M₄的形狀，記為

計算值注意力權重矩陣A

將Q與K^T進行矩陣乘法再通過softmax函數計算得到A′∈R^{(H×W)×(H×W)}

A′＝softmax(QK^T)

引入過濾矩陣B∈R^{(H×W)×(H×W)}，其中矩陣B中元素如下所示：

將B與A′相乘得到過濾后的權重矩陣α

α＝A′·B

空間自注意力模塊的輸出S∈R^C×H×W如下

S＝αV+M₁。

5.根據權利要求1所述的一種基于聯合自注意力機制的單目深度方法，其特征在于，步驟(2)中，所述通道自注意力模塊為：記輸入特征圖為X∈R^C×H×W，高度為H，寬度為W，通道數為C；調整X的形狀，得到X′∈R^C×(H×W)，計算通道自注意力權重矩陣A；

其中，A_i,j為通道自注意力權重矩陣A在(I,j)位置的值；

空間自注意力模塊輸出S∈R^C×H×W計算公式如下：

6.根據權利要求1所述的一種基于聯合自注意力機制的單目深度方法，其特征在于，步驟(3)中，所述解碼器使用四個上采樣層以逐漸將深度圖像的分辨率恢復為與輸入狀態一致；每個解碼層的輸出與跳層連接的編碼層多尺度特征圖進行特征融合。

7.根據權利要求1所述的一種基于聯合自注意力機制的單目深度方法，其特征在于，步驟(4)中，所述ASPP模塊為：使用速率r＝1,3,6,12的不規則卷積獲得4個大小不同的特征圖；使用特征金字塔的方法，對獲得的4個大小不同的特征圖進行特征融合；通過一個1×1的卷積，得到ASPP的輸出特征圖。

8.根據權利要求1所述的一種基于聯合自注意力機制的單目深度方法，其特征在于，步驟(5)中，損失函數為：

Loss＝λL_depth+L_grad

其中，λ為可調參數，L_depth表示像素點與像素點之間的距離誤差損失，L_grad表示深度梯度損失。