[發明專利]基于斜面代價聚合的立體匹配的方法、裝置和存儲介質

在審

• 申請號: 202210338837.1
• 申請日: 2022-04-01
• 公開（公告）號: CN114708219A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 郭裕蘭;汪赟;王龍光
• 申請（專利權）人: 中山大學·深圳;中山大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06K9/62;G06V10/74
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 梁嘉琦

本發明公開了一種基于斜面代價聚合的立體匹配的方法、計算機裝置及存儲介質，包括對第一圖像和第二圖像進行特征圖矩陣相乘處理，獲得第一代價體，對第一代價體進行初始視差估計，獲得初始視差圖，執行多輪循環迭代操作，對最后一輪循環迭代操作得到的視差圖和upmask圖進行處理，獲得原分辨率視差圖等步驟。本發明通過在每一輪循環迭代操作中，根據目標斜面參數和目標視差圖構建出多個斜面，根據各斜面進行lookup操作，可以更新斜面的參數，即斜面是可學習的，能夠從局部3D空間中聚合匹配代價，減少計算和內存成本，具備較高的匹配準確性、較低的消耗成本、具有良好的實時性和運算速度。本發明廣泛應用于圖像處理技術領域。

技術領域

本發明涉及圖像處理技術領域，尤其是一種基于斜面代價聚合的立體匹配的方法、計算機裝置及存儲介質。

背景技術

在自動駕駛、機器人控制和增強現實等技術中，需要應用圖像的立體匹配。立體匹配是在一對立體對圖像進行像素層次上的一一對應的處理過程。現有的立體匹配算法常常遵循匹配代價計算、匹配代價聚合、視差回歸和視差精煉等四步流程，由于立體匹配過程中，匹配代價通常在圖像的反射、低紋理和薄結構等區域表現出模棱兩可的性質，此時匹配代價具有歧義性，而匹配代價聚合可以減輕匹配代價的歧義性，因此匹配代價聚合對于精確的視差估計尤為重要。

傳統立體匹配方法可以分為局部方法、全局方法和和半全局方法三種。局部算法通常在局部區域進行匹配代價聚合，全局算法在整個圖像上極小化全局能量函數來構建視差估計。半全局算法在整幅圖像中通過對不同的方向進行匹配代價聚合，計算復雜度相比于全局算法大大減小，并且精度相對于局部算法更高。近年來，深度學習方法已經被提出來解決立體匹配問題。早期的方法通過利用卷積神經網絡強大的特征提取能力提取圖片的深層抽象特征，但依然需要傳統的代價聚合方法進行后續的處理。目前采用深度學習的立體匹配方法一般分為兩種。對左右特征圖進行點乘得到的3D cost volume采用2D CNN方法進行聚合；對左右特征圖進行concat串聯得到的4D cost volume采用3D CNN方法進行聚合。目前，采用3D CNN進行匹配代價聚合的方法已成為立體匹配的主流，盡管3D CNN能夠產生精確的視差圖，但它的高計算和顯存消耗限制了他們進一步的應用。

發明內容

針對目前的立體匹配的技術需要消耗較多的計算資源，實時性差等至少一個技術問題，本發明的目的在于提供一種基于斜面代價聚合的立體匹配的方法、計算機裝置及存儲介質。

一方面，本發明實施例還包括一種基于斜面代價聚合的立體匹配的方法，包括以下步驟：

獲取第一圖像和第二圖像；所述第一圖像和所述第二圖像可以組成立體對圖像；

對所述第一圖像和所述第二圖像進行特征圖矩陣相乘處理，獲得第一代價體；

對所述第一代價體進行初始視差估計，獲得初始視差圖；

執行多輪循環迭代操作；在每一輪所述循環迭代操作中，根據目標斜面參數和目標視差圖構建出本輪的多個斜面，根據各所述斜面，對所述第一代價體中以像素為中心的鄰域內執行lookup操作，追溯得到本輪的追溯代價體，對所述追溯代價體執行自適應聚合，獲得本輪的上下文特征圖，將目標視差圖、本輪的所述追溯代價體以及本輪的所述上下文特征圖輸入至門激活單元，所述門激活單元輸出本輪的視差圖、本輪的斜面參數以及本輪的upmask圖；

其中，對于第一輪所述循環迭代操作，所述目標斜面參數為初始設定的斜面參數，所述目標視差圖為所述初始視差圖；對于除第一輪循環迭代操作之外的其他各輪所述循環迭代操作，所述目標斜面參數為上一輪循環迭代操作得到的斜面參數，所述目標視差圖為上一輪循環迭代操作得到的視差圖；

對最后一輪循環迭代操作得到的視差圖和upmask圖進行處理，獲得原分辨率視差圖。

進一步地，所述基于斜面代價聚合的立體匹配的方法，還包括：