[發明專利]基于注意力機制的無監督單目深度估計方法

有效

• 申請號: 202110676865.X
• 申請日: 2021-06-18
• 公開（公告）號: CN114119698B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 張小剛;凌傳武;陳華;王煉紅;王紹源
• 申請（專利權）人: 湖南大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06N3/04;G06N3/08
• 代理公司: 長沙新裕知識產權代理有限公司 43210
• 代理人: 劉加

1.一種基于注意力機制的無監督單目深度估計方法，其特征在于，包括以下步驟：

步驟S1：將KITTI數據集調整至同一分辨率大小后，劃分為訓練數據集、驗證數據集和測試數據集；

步驟S2：對訓練數據集和驗證數據集中的數據進行數據增廣；

步驟S3：構建單目深度估計神經網絡；

步驟S4：利用訓練數據集訓練單目深度估計神經網絡得到相應的權重與偏置，即網絡模型參數，將得到的網絡模型參數代入驗證數據集，保存使得驗證數據集損失函數最小的網絡模型參數；

步驟S5：使用損失函數最小的網絡模型參數，對測試數據集進行測試，得到測試數據集的預測值；

所述步驟S4，包括以下步驟：

步驟S4-1：設置初始化迭代次數I＝0，最大迭代次數為I_max；使用Xavier初始化神經網絡各層權重參數；

步驟S4-2：使用網絡中編碼器進行特征提??；

步驟S4-3：使用網絡中解碼器預測視差圖；

步驟S4-4：通過扭曲操作，得到多次合成的視圖；

步驟S4-5：計算網絡損失函數；

步驟S4-6：計算使驗證數據集損失函數最小的網絡模型參數；

所述步驟S4-4，通過扭曲操作，得到多次合成的視圖的具體方法如下：

在每個尺度下，將預測的左視差圖d_l和雙目圖像對中的右圖I_r通過扭曲函數得到合成左圖

其中(x,y)為像素坐標；w(.)為扭曲函數，定義為：

w((x,y),d(x,y))＝(x+d(x,y),y)

將合成左圖與預測的右視差圖d_r通過扭曲函數得到二次合成的右圖

將二次合成的右圖與預測的左視差圖d_l通過扭曲函數得到三次合成的左圖，將三次合成的左圖與預測的右視差圖d_r通過扭曲函數得到四次合成的右圖；依次類推，通過對合成的視圖進行扭曲操作，得到n次合成的視圖；

所述步驟S4-5，包括以下步驟：

步驟S4-5-1：計算多層扭曲視圖重構損失；

其中I_l/r代表雙目圖像對中的左圖/右圖，是一次合成的左圖/右圖，是三次合成的左圖/右圖，i是像素索引，N是圖片像素的個數，α是權重超參數，SSIM是結構相似性損失；

步驟S4-5-2：計算視差平滑損失：

其中和是對左/右視差圖分別求水平和垂直方向的梯度，和是對雙目圖像對中的左圖/右圖分別求水平方向和垂直方向的梯度；i是像素索引，N是圖片像素的個數；|.|代表求絕對值操作，e為自然常數；

步驟S4-5-3：計算視差圖一致性損失：

左視差圖一致性損失如下式所示：

右視差圖一致性損失如下式所示：

對于每一個尺度s，整體損失函數如下式所示

其中λ_ap，λ_ds，λ_c是三個超參數權重；

步驟S4-5-4：計算網絡最終的損失函數，網絡最終的損失函數為4個尺度下的整體損失函數之和：

2.如權利要求1所述的基于注意力機制的無監督單目深度估計方法，其特征在于：所述步驟S2中，對數據進行數據增廣的方法如下：

步驟S2-1：圖像水平翻轉；概率為0.5；

步驟S2-2：圖像伽馬校正，校正系數范圍為0.8-1.2；概率為0.5；

步驟S2-3：圖像亮度偏移，偏移系數范圍為0.5-2.0；概率為0.5；

步驟S2-4：圖像RGB通道偏移，偏移系數范圍為0.8-1.2；概率為0.5。