[發明專利]一種基于細節增強的雙目立體匹配方法

有效

• 申請號: 201910580140.3
• 申請日: 2019-06-28
• 公開（公告）號: CN110427968B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 姚劍;談彬;陳凱;涂靜敏
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06T7/80
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 羅飛

本發明公開了一種基于細節增強的雙目立體匹配方法，首先，利用視差初始化子網絡來獲取低分辨率下的初始視差估計結果；然后，通過帶引導模塊的優化子網絡，結合多尺度優化策略，逐步上采樣并優化低分辨率初始視差，并輸出全分辨率下的稠密視差估計結果；接著，使用多尺度損失函數，將低分辨率下的視差估計結果作為中間監督，以提高網絡的收斂精度，促進全分辨率下的視差估計結果；再將待匹配的雙目立體像對輸入訓練好的網絡，得到視差估計結果。該方法通過對具有真實視差的訓練數據集進行學習與訓練，在極大提高了立體匹配所得到的視差結果的精度與魯棒性的同時，還顯著提升了視差圖中對小目標以及邊緣等細節信息的估計結果。

技術領域

本發明涉及圖像處理中的立體匹配技術領域，具體涉及一種基于細節增強的雙目立體匹配方法。

背景技術

立體匹配是圖像處理領域中的一個經典問題，它的主要目標是估計一對已經經過核線校正的立體像對(兩幅圖中的匹配點在同一行上)之間的視差(匹配點的列坐標之差)。通過立體匹配所得到的視差圖在許多領域中都有著廣泛的應用，比如自動駕駛、室內定位以及三維重建等。因此，立體匹配具有著重要的研究價值。

在絕大多數的傳統方法中，通常將立體匹配分為四個步驟，分別是：計算匹配代價、代價聚合、視差估計以及視差優化。但是，通過傳統的手工設計的特征計算得到的匹配代價在面對具有挑戰性的復雜場景時往往魯棒性不佳，并因此限制了傳統立體匹配方法的表現。

近年來的一些研究表明，基于卷積神經網絡的深度學習技術可以被應用在立體匹配任務中。早期的一些方法通過利用卷積神經網絡強大的特征表征能力來計算圖像塊之間的匹配代價，來代替基于手工設計的特征的方法。然而，這種方法只利用了局部的圖像塊，卻忽略了圖像的全局信息，因此嚴重限制了視差精度的提升。在這之后，一些利用圖像全局信息的端到端的被提出并極大極大地提升了視差估計得精度。但是，這些端到端端到端的方法仍然無法捕獲圖像中的細節信息，導致視差圖中的微小結構和邊緣經常丟失或者產生模糊。

本申請發明人在實施本發明的過程中，發現現有技術的方法，至少存在如下技術問題：

最近，一些利用引導信息的網絡展現了它們在細節保持方面的優勢。將引導信息應用到立體匹配工作中的一種典型方法就是引入一個子任務的網絡，比如，通過額外訓練一個邊緣提取的網絡，然后將邊緣檢測的結果作為引導信息與視差估計網絡中的匹配代價相結合，從而得到具有高精度和豐富細節的視差圖。但是這種方法在訓練網絡的過程中引入了一個額外任務的子網絡，使得網絡的復雜度大大上升，讓網絡變得難以訓練。另外一種方案是，直接將原圖像與初始視差圖相結合，用原圖中的色彩信息作為引導，來恢復初始視差圖中的細節。這種方法雖然避免了引入額外任務的網絡所帶來的復雜度上升問題，但是來自原圖像中的噪聲也會影響引導信息的準確性，為細節視差的恢復帶來不確定性。

由此可知，現有技術中的方法存在匹配精度不高的技術問題。

發明內容

有鑒于此，本發明提供了一種基于細節增強的雙目立體匹配方法，用以解決或者至少部分解決現有技術中的方法存在的匹配精度不高的技術問題。

本發明提供了一種基于細節增強的雙目立體匹配方法，包括：

步驟S1：設置能夠獲取低分辨率下的初始視差估計結果的初始化子網絡；

步驟S2：設置帶引導模塊的優化子網絡，初始化子網絡與優化子網絡構成視差估計網絡模型，其中，優化子網絡用以結合多尺度優化策略，逐步上采樣并優化步驟S1中產生的低分辨率初始視差，輸出全分辨率下的稠密視差估計結果；

步驟S3：將立體像對中的左右圖像作為訓練樣本集，采用多尺度損失函數，基于訓練樣本集，分別對初始化子網絡、優化子網絡以及整個視差估計網絡模型進行訓練；

步驟S4：將待匹配的雙目立體像對輸入訓練好的網絡模型，得到預測的視差估計結果。