[發明專利]基于共享特征和注意力上采樣的雙目視差匹配方法及系統

有效

• 申請號: 202010594237.2
• 申請日: 2020-06-28
• 公開（公告）號: CN111915660B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 謝云;李巍華
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06V10/40;G06V10/80;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于共享特征和注意力上采樣的雙目視差匹配方法及系統，該方法步驟包括：將左、右圖像預處理后提取1/2尺度、1/4尺度、1/8尺度、1/16尺度特征圖；左、右圖像1/16尺度特征圖構建匹配代價矩陣，生成1/16尺度的初始視差圖；使用1/16尺度初始視差圖和1/16尺度圖像特征圖估計出1/16尺度的視差殘差圖，利用注意力機制實現上采樣，生成1/8尺度的視差圖；分別使用1/8尺度、1/4尺度、1/2尺度視差圖和對應的圖像特征圖，分別生成1/4尺度、1/2尺度和原尺度視差圖；進行模型訓練并保存最優模型參數；載入預訓練參數，輸入圖像幀，獲取不同尺度視差圖。本發明采用共享特征設計和注意力機制上采樣，有效提升了視差匹配的精度和速度，能夠實時地生成高精度視差圖。

技術領域

本發明涉及雙目視差匹配技術領域，具體涉及基于共享特征和注意力上采樣的雙目視差匹配方法及系統。

背景技術

深度估計是很多實際應用的核心問題，比如自動駕駛、三維重建、虛擬現實等。目前，獲取深度值的方法有激光雷達，結構光，雙目視覺等。其中，雙目視覺方法因為成本低，部署方便，被廣泛使用。雙目視覺方法基于雙目相機，雙目相機同時拍攝左右兩幅視圖，從左右兩幅視圖得到對應的視差圖，然后根據雙目相機參數計算深度圖像。

傳統的視差匹配方法可以分為四步：匹配代價計算，代價聚合，視差計算和視差精化。然而，傳統的視差匹配方法多是基于人為設計的特征，以及啟發式的能量函數，且只能串行計算。因此，精度上和速度上都很難滿足實際需求。

近年來，隨著深度神經網絡網絡技術的發展，基于深度卷積神經網絡的視差匹配技術在速度和精度上都超過了傳統視差匹配方法。由于深度卷積神經網絡強大的特征表征能力，使得視差匹配的精度有了大幅度的提高。而且，卷積神經網絡能夠在GPU上進行快速的并行計算，因此比傳統方法要快很多。

然而，目前基于深度卷積神經網絡的視差匹配計算仍存在一定局限性，具體表現為：1)參數過多，導致占用顯存過大；2)計算量過大，難以支撐高實時的應用；3)無法根據需求實時地調整計算量和精度。

發明內容

為了克服現有技術存在的缺陷與不足，本發明提供一種基于共享特征和注意力上采樣的雙目視差匹配方法，以實際應用場景的視差匹配網絡作為研究目標，綜合考慮視差匹配的準確性與實時性，能夠更加魯棒地、靈活地應對實際應用場景的挑戰。

為了達到上述目的，本發明采用以下技術方案：

本發明提供一種基于共享特征和注意力上采樣的雙目視差匹配方法，包括下述步驟：

對獲取的圖像進行歸一化處理，將雙目視覺采集到的左、右圖像經預處理后輸入卷積神經網絡，提取1/2尺度、1/4尺度、1/8尺度、1/16尺度的特征圖；

采用左、右圖像的1/16尺度特征圖構建匹配代價矩陣，采用三維卷積神經網絡計算匹配代價矩陣，生成視差可能性特征圖，采用Soft-Argmin函數計算視差可能性特征圖，生成1/16尺度的初始視差圖；

分別將1/16尺度的初始視差圖和1/16尺度的圖像特征圖送入二維卷積層，進行特征提取，采用提取得到的特征估計出1/16尺度的視差殘差圖，采用提取的特征為每個像素估計出自適應權重，應用注意力機制，將自適應權重與視差圖相對應的鄰域視差值進行加權求和，實現上采樣，生成1/8尺度的視差圖；

分別輸入1/8尺度、1/4尺度、1/2尺度的視差圖和對應的圖像特征圖，分別生成1/4尺度、1/2尺度、原尺度的視差圖；

構建損失函數，根據損失函數分別計算1/16尺度、1/8尺度、1/4尺度、1/2尺度和原尺度的預測視差圖與標簽的損失值，求和取得總的損失值，然后進行反向傳播，更新模型參數，當總的損失值不再下降時，保存模型參數；

將預處理后的圖像輸入模型中，獲取不同尺度的視差圖。