[發明專利]一種基于深度估計網絡的單目圖像深度估計方法及系統

有效

• 申請號: 202010132201.2
• 申請日: 2020-02-29
• 公開（公告）號: CN111402310B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 張皓;扈玲玲;王祝萍;黃超
• 申請（專利權）人: 同濟大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06N3/0455;G06N3/084;G06N3/088
• 代理公司: 上?？剖⒅R產權代理有限公司 31225
• 代理人: 翁惠瑜

本發明涉及一種基于深度估計網絡的單目圖像深度估計方法及系統，該方法具體為：構建深度估計網絡，將目標圖像輸入訓練好的深度估計網絡，獲得目標圖像深度圖；所述的訓練過程中采用相機位姿估計步驟；所述的深度估計網絡包括編碼器和解碼器，所述的編碼器包括5層編碼模塊，每層編碼模塊基于ResNeXt50模型構建，所述的解碼器包括5層包含跳躍連接的解碼模塊。與現有技術相比，本發明具有精度高、魯棒性強等優點。

技術領域

本發明涉及計算機視覺領域，尤其是涉及一種基于深度估計網絡的單目圖像深度估計方法及系統。

背景技術

在計算機視覺領域，對圖像進行深度估計是一項不可或缺的基本任務，在基于視覺的同時定位與建圖、三維場景重建、增強現實等領域起著十分重要的作用。傳統的深度估計方法通常采用多視圖幾何的原理，根據場景中的多個視圖間的差異，通過幾何約束關系建立圖像間的對應像素點的關系，從而從二維圖像中恢復三維場景的深度及幾何形狀。由于需要人為的從圖像中提取相應特征，建立對應匹配關系，從而得到圖像的深度信息，計算量大且復雜。而隨著深度學習的迅速發展，并與各個領域相結合后呈現出巨大的潛力和商業價值。深度學習在計算機視覺領域也表現出了強大的解析與表達能力，使得從單張圖像中估計深度成為可能，基于深度學習的單目圖像深度估計問題也成為近年來研究者們關注的熱點之一。

但是，由于圖像在成像過程中丟失了部分真實三維場景的信息，導致基于二維平面圖像的計算機視覺技術存在固有的缺陷。并且由于現實場景的復雜性，存在動態物體的干擾，所導致的遮擋現象，使得網絡不能很好的學習圖像的特征，會丟失圖像的一些特征信息，使得網絡預測的深度存在準確度和清晰度問題。

現有技術也給出了一些解決方案，中國專利CN201810296143.X提出了一種利用深度學習對視頻序列中單目視圖深度估計優化方法，包括：通過一個深度估計神經網絡對單目視圖L進行深度估計，得到與L相同分辨率的深度圖：將單目視圖L與相鄰幀的單目視圖L作為位姿估計網絡的輸入，得到兩幀視圖間相機的相對位姿變化，其中，位姿變化包括相對位移和旋轉；步驟S3：利用L的深度圖，以及單目視圖L與相鄰幀的單目視圖L的相對位姿變化對L進行重構，得到單目視圖L重構后的視圖L'；步驟S4：通過特定卷積神經網絡VGG-16分別得到L和L'的特征圖，利用特征圖歐式距離上的對比及兩視圖像素級的誤差，作為損失函數以優化深度估計神經網絡和位姿估計網絡，該專利避免了深度信息采集的高昂代價；

但該專利存在以下不足：

一是該專利最終獲得的深度圖與原視圖圖像分辨率相同，沒有考慮圖像的高維特征，使得其深度估計神經網絡不能充分學習圖像像素的深層特征，從而使得網絡對圖像上的弱紋理區域學習能力較弱；

二是該專利將特征圖歐式距離上的對比以及兩視圖像素級的誤差作為損失函數，但是沒有考慮動態物體的干擾所導致的遮擋問題對網絡訓練的影響，而對于復雜環境來說，動態物體的干擾是不可避免的，由此導致網絡訓練的精度較低。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于深度估計網絡的單目圖像深度估計方法及系統。

本發明的目的可以通過以下技術方案來實現：

一種基于深度估計網絡的單目圖像深度估計方法，具體為：

將目標圖像輸入訓練好的深度估計網絡，獲得目標圖像深度圖；

其中，所述的深度估計網絡為U-net結構，包括編碼器和解碼器，所述的編碼器包括5層編碼模塊，每層編碼模塊基于ResNeXt50模型構建，每層包含32路的殘差模塊融合組成。所述的解碼器包括5層解碼模塊，每1層解碼模塊由上采樣層和卷積層組成；