[發明專利]一種基于自適應候選視差預測網絡的實時雙目立體匹配方法

有效

• 申請號: 202011176728.1
• 申請日: 2020-10-28
• 公開（公告）號: CN112435282B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 張旭翀;孫宏濱;戴赫;趙永利;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/593;G06N3/0464
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 閔岳峰

本發明公開了一種基于自適應候選視差預測網絡的實時雙目立體匹配方法。該方法首先利用二維卷積神經網絡對立體圖像對進行多尺度特征提取，得到高、低分辨率的特征圖。然后，第一階段視差估計利用低分辨率特征圖進行視差粗估計。在利用粗估計結果和左圖信息預測得到自適應候選視差以后，第二階段視差估計則利用預測結果和高分辨率特征圖進行精細視差估計。最后，對視差圖進行層次化精修得到全尺寸視差圖。與現有的由粗到精立體匹配神經網絡相比，本發明可以為精細視差估計階段預測更準確的動態偏移量，以滿足圖像中各種目標不同的視差校正需求。由于動態預測的有效性，本發明設計了兩級處理結構以大幅提高實時雙目立體匹配網絡的計算精度和速度。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于自適應候選視差預測網絡的實時雙目立體匹配方法。

背景技術

雙目立體視覺系統在機器人導航、智能監控、自動駕駛等應用領域有著廣泛的應用。因此，準確，快速的雙目立體匹配對于立體視覺系統在移動設備的實時部署具有重要意義。近年來，基于深度學習技術的雙目立體匹配得益于神經網絡模型的不斷創新，其算法的處理精度顯著提升。但是，當前的高精度立體匹配網絡通常需要占用大量的內存和計算資源，這使得已有方法難以在資源受限的移動平臺上應用。

端到端雙目立體匹配網絡主要包括特征提取、聚合代價量構建、匹配代價聚合以及視差回歸/優化等步驟。其中，匹配代價聚合步驟對模型的計算速度和資源耗費起著決定性作用，因此對該步驟的合理優化成為網絡輕量化設計的關鍵。當前，已有方法主要采用由粗到精(Coarse-to-fine)的視差估計策略來大幅降低代價聚合步驟的計算復雜度。具體地，該方法首先在小分辨率下進行全視差范圍搜索得到粗視差估計結果，然后逐級上采樣，并在大分辨率下用極少數的視差偏移量對粗估計視差進行精細化修正，因此計算速度顯著提高。然而，已有方法均采用固定偏移量的方式為精細估計階段提供候選視差，該方式將候選值限制在粗視差估計結果的局部小范圍內，從而導致視差修正難以滿足不同場景中不同目標的實際需求，因此已有方法的視差圖質量相對較差。此外，為了一定程度提高估計結果，已有由粗到精方法通常采用多階段(一般≥3級)處理來得到更準確的視差。但是，隨著操作級數的增加，計算速度會顯著降低。綜上所述，已有采用由粗到精策略的輕量化雙目立體匹配網絡在計算精度和速度等方面仍難以滿足移動設備對立體視覺的實時性要求。

發明內容

本發明的目的在于提出一種基于自適應候選視差預測網絡的實時雙目立體匹配方法，以克服現有技術的缺點。本發明利用粗視差估計結果和原始圖像信息為每一像素動態預測精細估計階段所需的視差偏移量，從而適應不同目標物體對視差校正范圍的差異化需求。并且，由于該方法的有效性，本發明設計了一種兩級處理結構以提升雙目立體匹配網絡的計算精度和速度。

為達到上述目的，本發明采用如下技術方案來實現：

一種基于自適應候選視差預測網絡的實時雙目立體匹配方法，該方法包括：

首先利用二維卷積對校正后的立體圖像對進行多尺度特征提取，得到高、低分辨率的特征圖；然后，在第一階段中，在低分辨率特征圖下進行視差粗估計；隨后利用粗估計視差圖和左圖進行動態偏移量預測，該偏移量與粗估計結果相加生成自適應候選視差；第二階段視差估計利用自適應候選視差和高分辨率特征圖構建緊湊匹配代價量，該代價量通過正則化之后進行視差回歸得到精細估計視差；最后，視差精修模塊對精細視差圖進行層次化上采樣，得到全尺寸視差圖。

本發明進一步的改進在于，特征提取時，首先用一系列二維卷積將輸入原圖逐級下采樣到1/2、1/4、1/8和1/16，然后對1/4和1/16特征進行更深層次的特征提取。

本發明進一步的改進在于，第一階段視差估計，利用特征提取的1/16特征圖進行錯位拼接，得到完整匹配代價量；通過堆疊的三維卷積對代價量進行正則化處理，得到聚合后的匹配代價量，對該代價量進行回歸得到粗估計視差圖。