[發明專利]一種內容自適應雙目匹配方法和裝置

有效

• 申請號: 202010093456.2
• 申請日: 2020-02-14
• 公開（公告）號: CN111311667B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 魏輝;趙雅倩
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06T7/593
• 分類號: G06T7/593
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤

本發明提供一種內容自適應雙目匹配方法，包括以下步驟：將左右圖像均劃分成網格以計算網格點處的特征信息，并根據所述特征信息在網格點處進行所述左右圖像間的匹配計算，以將匹配度高的點作為基準點；計算所述基準點的視差值并確定層間距，并根據所述視差值和層間距對所有所述基準點在深度方向上進行分層；對于某一圖像中的非基準點像素，確定距離其最近的基準點，并根據所述最近的基準點所在的深度層和所述基準點的視差值確定搜索范圍；將所述非基準點像素與另一圖像中所述搜索范圍內的像素進行匹配計算。本發明在保證匹配精準度的同時，降低匹配過程計算復雜度，提高了匹配效率。

技術領域

本發明涉及計算機領域，并且更具體地，涉及一種內容自適應雙目匹配方法和裝置。

背景技術

三維感知是利用傳感設備對真實環境進行探測、重建、認知的技術，是實現自動駕駛、虛擬/增強現實、機器人、測量等許多智能化技術的基礎。對真實環境深度信息的重建是三維感知中的關鍵和基礎內容，基于雙目立體相機實現深度信息重建可以得到稠密的深度信息，同時圖像中包含的豐富信息可以為感知提供重要的數據來源，雙目相機對環境的適應性好，成本低，所以其相對于結構光、飛行時間等其它深度重建技術有其特定的優勢，是三維感知領域的重要技術之一，有著廣闊的應用前景。雙目立體視覺的基本原理是通過兩個角度來對同一景物進行觀察，獲取在不同視角下的感知圖像，進而利用三角幾何測量原理求得不同視角感知圖像像素間的位置偏差(視差)，以此來表示所選景物的三維信息。雙目匹配就是對雙目相機的兩張圖片進行匹配，找到一對一的對應點，然后計算得到對應點的視差。立體匹配是立體視覺系統中最難解決的環節，匹配技術往往決定了整個視覺系統性能的優劣。如何精確地獲取二維圖像的深度信息，制造出一種對周圍可變環境具有魯棒性的雙目立體視覺系統，仍是立體視覺研究的難點。雙目視覺在實際應用中主要存在兩大痛點：實時性和準確性。首先，從雙目圖像中提取三維信息是一個復雜算法問題，在實際場景中易受噪聲、遮擋等非理想因素的影響。此外，雙目視覺相關算法的運算量高，計算過程往往無法滿足實時處理的要求。這些問題制約了雙目視覺技術在實際系統中的應用。

從整體上劃分，雙目立體匹配可以分為全局算法和局部算法兩類。全局算法是一個優化問題，通過一個基于馬爾科夫隨機場的能量函數的形式對視差添加全局平滑約束，提高視差求解的精度。這種方法就是求全局能量函數的最小值。而該問題是一個NP-hard問題，通常使用一些近似方法求解，如圖割法、置信度傳播法。這種方式計算復雜，且存儲需求大，即使對低分辨率圖像也通常需要較高的計算和存儲資源。全局算法精度較高，但計算量大，達到的幀率比較有限。局部算法速度一般較快，但其精度和匹配搜索范圍的大小選擇相關。小的搜索范圍會導致匹配失敗率較高，大的搜索范圍能一定程度上提高精度，但會導致邊界處匹配不準確。且該方法受限于弱紋理區域和遮擋問題難以解決，在精度上一般不如全局算法高。準確高效的雙目匹配方法是促進雙目立體視覺技術應用推廣的重要基礎和亟需解決的問題。

發明內容

鑒于此，本發明實施例的目的在于提出一種內容自適應的雙目匹配方法，在保證匹配精準度的同時，降低匹配過程計算復雜度，提高匹配效率。

基于上述目的，本發明實施例的一方面提供了一種內容自適應雙目匹配方法，包括以下步驟：

將左右圖像均劃分成網格以計算網格點處的特征信息，并根據所述特征信息在網格點處進行所述左右圖像間的匹配計算，以將匹配度高的點作為基準點；

計算所述基準點的視差值并確定層間距，并根據所述視差值和層間距對所有所述基準點在深度方向上進行分層；

對于某一圖像中的非基準點像素，確定距離其最近的基準點，并根據所述最近的基準點所在的深度層和所述基準點的視差值確定搜索范圍；

將所述非基準點像素與另一圖像中所述搜索范圍內的像素進行匹配計算。

在一些實施方式中，將左右圖像均劃分成網格以計算網格點處的特征信息，并根據所述特征信息在網格點處進行所述左右圖像間的匹配計算，以將匹配度高的點作為基準點包括：