[發明專利]一種雙特征融合的半全局立體匹配方法

有效

• 申請號: 202010548594.5
• 申請日: 2020-06-16
• 公開（公告）號: CN111681275B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 石林;白俊奇;劉羽;朱恒;陸園;董小舒;章孝承
• 申請（專利權）人: 南京萊斯電子設備有限公司
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T5/00;G06V10/80
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華

本發明公開了一種雙特征融合的半全局立體匹配方法，包括對左右目圖像進行灰度化后，進行畸變校正和極線校正，得到符合極線約束的圖像；在圖像上滑窗，計算窗口內的平均絕對差值和Census變換后，將融合結果作為窗口中心點的雙特征融合代價，根據像素點的雙特征融合代價構造三維視差空間；在獲取近似二維全局能量最優后，在三維視差空間中進行能量聚合；在多路徑聚合代價最小的情況下確定圖像中每個像素點的初始視差值，組成初始視差圖；最后對左初始視差圖和右初始視差圖進行排異和平滑，得到最終的視差圖。本發明綜合了平均絕對差算法對于豐富紋理的敏感性和Census變換對于光照變化的適應性的優點，彌補了單一特征的局限性。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種雙特征融合的半全局立體匹配方法。

背景技術

立體匹配是三維重建、自主導航、非接觸測距等技術領域的關鍵，它通過兩幅互相匹配的圖像來獲取深度信息，廣泛應用于工業生產自動化、機動車輔助駕駛系統、安防監控、遙感圖像分析、機器人自主導航等方面。相較于傳統的二維圖像，立體匹配能夠在長和寬的基礎上增加一維深度信息，因而可以幫助我們更好的感知真實世界。

目前，傳統的半全局立體匹配算法對光照變化較為敏感，僅可用于特定的室內場景，不適用于復雜的外場環境，單一特征適用的使用場景有限；計算量大、耗時長，不能滿足實時性需求；綜上所述，傳統的半全局立體匹配算法不能滿足實際產品的要求。

發明內容

本發明提供了一種雙特征融合的半全局立體匹配方法，采用基于平均絕對差算法和Census變換雙特征融合的代價計算方法，綜合了平均絕對差算法對于豐富紋理的敏感性和Census變換對于光照變化的適應性的優點，彌補了單一特征的局限性，增加了半全局立體匹配算法的適應性；且本算法特別適用于可并行計算的處理平臺，在不降低計算準確性的前提下，可大幅度提高計算速度，適合對于實時性要求較高的實際場景的應用。針對現有技術的不足，本發明公開了一種雙特征融合的半全局立體匹配方法，包括如下步驟：

步驟1，采用兩個相機組成左右目相機，通過位于左側的相機獲得左目圖，通過位于右側的相機獲得右目圖，對左右目圖像進行灰度化，所述左右目圖像即左目圖和右目圖；

步驟2，根據所述左右目相機的內參和外參對左右目圖像進行畸變校正和極線校正，得到一組符合極線約束的圖像；

步驟3，在所述圖像上進行滑窗，計算窗口內的平均絕對差值和Census變換后，對結果進行融合，將融合結果作為所述窗口中心點的雙特征融合代價，根據所述圖像所有像素點的雙特征融合代價構造以圖像長為x軸，圖像寬為y軸，視差區間為z軸的三維坐標系，即三維視差空間，所述三維視差空間包括左三維視差空間和右三維視差空間；

步驟4，在所述視差區間內，沿八個方向并行計算能量值的一維動態規劃，用于獲取近似二維全局能量最優，在所述三維視差空間中進行能量聚合；

步驟5，采用贏者通吃的方法，在多路徑聚合代價最小的情況下確定所述圖像中每個像素點的初始視差值，由所述每個像素點的初始視差值組成初始視差圖，其中，在所述左視差空間中計算得到的初始視差值組成的圖像作為左初始視差圖，在所述右視差空間中計算得到的初始視差值組成的圖像作為右初始視差圖；

步驟6，采用左右一致性檢查和中值濾波，對所述左初始視差圖和右初始視差圖進行排異和平滑，得到最終的視差圖。

進一步地，在一種實現方式中，所述步驟1包括：

步驟1-1，讀取所述左右目圖像中像素三通道的值，所述三通道包括紅色通道、綠色通道和藍色通道；

步驟1-2，按照下式計算所述左右目圖像中像素的灰度值Gray：

Gray＝(R×30+G×59+B×11+50)/100

其中，R為紅色通道的值，G為綠色通道的值，B為藍色通道的值。