[發明專利]一種基于深度估計網絡的單目圖像深度估計方法及系統

有效

• 申請號: 202010132201.2
• 申請日: 2020-02-29
• 公開（公告）號: CN111402310B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 張皓;扈玲玲;王祝萍;黃超
• 申請（專利權）人: 同濟大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06N3/0455;G06N3/084;G06N3/088
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

1.一種基于深度估計網絡的單目圖像深度估計方法，具體為：構建深度估計網絡，將目標圖像輸入訓練好的深度估計網絡，獲得目標圖像深度圖；

所述的訓練過程中采用相機位姿估計步驟；

其特征在于，所述的深度估計網絡包括編碼器和解碼器，所述的編碼器包括5層編碼模塊，每層編碼模塊基于ResNeXt50模型構建，所述的解碼器包括5層包含跳躍連接的解碼模塊；

所述的相機位姿估計步驟具體為：

建立相機位姿估計網絡，采集包含若干圖像序列的訓練集，每組圖像序列包含1張參考圖I_t和多張對照圖I_s，將圖像序列輸入深度估計網絡獲得I_t深度圖D_t和I_s深度圖D_s，將D_t和D_s輸入位姿估計網絡獲取I_t與I_s的相機位姿轉換關系T_t→s，根據T_t→s和像素點深度得到在D_t的像素點在D_s中對應的像素點，對I_s和D_s進行雙線性采樣獲得合成參考圖I_s→t和合成參考圖像深度圖D_s→t，根據I_t、I_s→t、D_s和D_s→t訓練深度估計網絡；

所述的訓練過程中采用的損失函數π_final的計算公式為：

π_final＝α*p_e(I_t,I_s)+β*L_depth+γ*L_s

其中，α、β和γ為超參數，p_e(I_t,I_s)為重投影損失函數，L_depth為幾何一致性損失函數，L_s為深度圖梯度平滑損失函數；

所述的p_e(I_t,I_s)的計算公式為：

其中，M為像素點總數；

所述的L_depth的計算公式為：

所述的L_s計算公式為：

其中，和/分別表示水平和豎直方向上的深度圖梯度；

第1層解碼模塊的輸入由第5層編碼模塊依次連接卷積層和上采樣層后與再與第4層編碼模塊跳躍連接構成，第2層解碼模塊的輸入由第1層解碼模塊依次連接卷積層和上采樣層后與再與第3層編碼模塊跳躍連接構成，第3層解碼模塊的輸入由第2層解碼模塊依次連接卷積層和上采樣層后與再與第2層編碼模塊跳躍連接構成，第4層解碼模塊的輸入由第3層解碼模塊依次連接卷積層和上采樣層后與再與第1層編碼模塊構成跳躍連接產生，第5層解碼模塊的輸入由第4層解碼模塊依次連接卷積層和上采樣層構成，第2～5層解碼模塊通過Sigmoid激活函數分別輸出分辨率為輸入圖像的1/8、1/4、1/2和1倍的深度圖。

2.根據權利要求1所述的一種基于深度估計網絡的單目圖像深度估計方法，其特征在于，所述的相機位姿估計網絡包括7層卷積模塊和1層卷積層，其中每個卷積模塊包括1層卷積層和1層ReLU激活函數層。