[發明專利]一種基于單目視覺的無監督深度估計方法

在審

• 申請號: 202011275547.4
• 申請日: 2020-11-16
• 公開（公告）號: CN112465888A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 賈海濤;陳昀;何慶東;許文波;毛晨;李曉溪;劉崢;周子雄
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明屬于圖像深度估計技術領域，具體涉及一種單目圖像深度估計方法。近年來有監督深度學習的方法已經證明了神經網絡在單目視圖深度估計中的結果。然而，有監督的深度學習需要大量的深度真值數據進行訓練，以達到較高的準確性，而在一系列環境中采集記錄深度數據是一件很困難的事。這些數據的獲取通常要求昂貴的硬件和精確的采集。同時，各類深度傳感器也有自己的誤差和噪聲特性。在制作深度圖像數據集時，由于各種各樣的外部條件干擾，例如光照、天氣變化等，深度傳感器不等得到可靠而又準確的圖像深度信息，這可能會給深度估計模型估計出結果的精度帶來影響。

技術領域

本發明屬于圖像深度估計技術領域，具體涉及一種單目圖像深度估計方法。

背景技術

近年來有監督深度學習的方法已經證明了神經網絡在單目視圖深度估計中的結果。然而，有監督的深度學習需要大量的深度真值數據進行訓練，以達到較高的準確性，而在一系列環境中采集記錄深度數據是一件很困難的事。這些數據的獲取通常要求昂貴的硬件和精確的采集。同時，各類深度傳感器也有自己的誤差和噪聲特性。在制作深度圖像數據集時，由于各種各樣的外部條件干擾，例如光照、天氣變化等，深度傳感器不等得到可靠而又準確的圖像深度信息，這可能會給深度估計模型估計出結果的精度帶來影響。像KITTI這樣高認可度的數據集也只提供了稀疏的深度地圖，并沒有捕捉到圖像中可見的高細節深度變化。

在場景深度估計方法中主要分為單目場景深度估計方法和雙目場景深度估計方法。雙目場景深度估計方法首先需要在假設光學幾何約束不變的情況下進行場景深度估計，如立體圖像匹配。而單目場景深度估計方法不需要先驗假設、對相機構造要求低，應用便捷，其缺陷在于從單目圖像中很難獲取到豐富的場景結構特征，用以推測場景深度。

發明內容

本發明的發明目的在于：提出一種不需要手工數據標注、同時利用雙目測距使結果更為精確的非監督卷積神經網絡單目場景深度估計方法。

本發明的改進的基于單目視覺的無監督深度估計方法，包括下列步驟：

步驟1：將幾何關系已知的包含源圖像和目標圖像的圖像對分別輸入編碼器和解碼器；

步驟2：編碼器端接收到源圖像后通過深度預測網絡對圖像的深度進行估計，并輸出一個深度預測矩陣；

步驟3：解碼器端接收到目標圖像和對應源圖像的深度估計矩陣，根據這兩項輸入對源圖像進行重建，得出重建圖像；

其中圖像重建階段的具體步驟為:

步驟301：首先根據立體幾何關系建立圖像對位置關系與真實物體位置點關系；

步驟302：得到視差公式；

步驟303：然后用估計距離代替真實距離，將真實視差轉化為估計視差公式；

步驟303：最后根據估計出的視差將目標圖像的像素點平移到相應位置，全部移動完成后得到重建圖像；

步驟4：得到重建圖像后與源圖像進行像素差平方值計算，得到網絡損失函；

步驟5：采用L2正則化方法來約束預測的深度圖像的梯度；

步驟6：最后根據修正后的誤差對網絡進行訓練；

綜上所述，由于采用了上述技術方案，本發明的有益效果是：

(1)利用深度學習方法對視頻序列中單目視圖進行深度估計時，采用非監督的學習方法，不依靠視圖的深度真值進行訓練，而是通過重構的圖像誤差作為監督，避免了深度信息采集的高昂代價；

(2)針對單目視覺與生俱來的深度估計劣勢，采用效果更好的雙目視覺深度估計方法作為圖像重建依據，不僅避免了大量訓練數據的準備工作，而且將雙目視覺的優勢加強了單目視覺的估計效果，使得方案同時具備了雙目和單目的優勢。

附圖說明