[發明專利]一種機器人視覺立體匹配方法

有效

• 申請號: 202110304658.1
• 申請日: 2021-03-23
• 公開（公告）號: CN112991421B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 王耀南;安果維;毛建旭;朱青;張輝;曾凱
• 申請（專利權）人: 湖南大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06V10/44;G06V10/74;G06V10/80
• 代理公司: 長沙市護航專利代理事務所(特殊普通合伙) 43220
• 代理人: 莫曉齊

本發明公開了一種機器人視覺立體匹配方法，首先在代價計算部分，通過SAD和MCT匹配代價計算方式，可以在保證圖像在弱紋理與重復紋理效果的同時，兼顧窗口像素點相關性與的全局性，避免引入噪聲；其次在代價聚合階段，引入基于圖像梯度而改變尺寸大小與方向的自適應窗口，利用基于梯度變化的自適應窗口，充分的考慮到圖像的梯度信息，即在梯度平緩區域窗口尺寸增大，梯度變化劇烈區域窗口尺寸減小，使圖像的邊緣部分得到最大程度的保持，同時，在自適應窗口內進行引導濾波以代價聚合，在此基礎之上進一步使用多尺度聚合的方法，得到更優的代價聚合結果；最終在進行視差計算與視差優化，得到最優視差結果，具有機器人視覺立體匹配度高的優點。

技術領域

本發明屬于工業機器人及移動機器人視覺感知技術領域，具體涉及一種機器人視覺立體匹配方法，尤其設計一種基于改進代價計算與梯度自適應窗口多尺度聚合的機器人視覺立體匹配方法。

背景技術

立體匹配技術是立體視覺極其關鍵的一步，匹配的精度與速度是立體視覺應用與發展的關鍵制約因素，立體匹配技術在攝影測量，三維重建，虛擬現實，無人駕駛，移動機器人，移動小車，火星車，月球車等多個領域有著廣泛的應用。立體匹配的精度直接影響移動機器人深度估計與地形三維重構的精度，對移動機器人基于立體視覺的視覺導航的精度提升起著非常關鍵作用，直接影響移動機器人視覺感知任務是否能夠完成。

立體匹配根據最優化方法的不同，可分為全局算法與局部算法兩類。全局算法是在全局范圍內建立一個能量函數，在對能量函數進行最優化，得到每個像素的代價值，再進行代價計算與視差優化，得到最終的視差圖。全局算法精度較高，但是計算復雜度高，實時性差，在實際應用場景中會有很大的限制。局部算法則包括代價計算，代價聚合，視差計算，視差優化四個步驟，代價計算的目的是計算待匹配像素對的相關性，Xing?Mei在《OnBuilding?an?Accurate?Stereo?Matching?System?on?Graphics?Hardware》中提出了像素絕對值AD與census-transform相結合的代價計算方式，對圖像的弱紋理與重復紋理區域的匹配效果有所提高，但是像素絕對值AD為單像素的相關性，容易引入噪聲，傳統的census-transform只是以窗口中每個像素與中心像素做對比，忽略了整個窗口的全局性。代價聚合是在局部立體匹配算法中最重要的一步，本質上可以看作對初始匹配代價濾波的過程，傳統的利用盒子濾波器與高斯濾波器在代價聚合階段進行濾波，不能很好的保護圖像中的邊緣信息，Pauline?Tan在《Stereo?Disparity?through?Cost?Aggregation?with?GuidedFilter》一文中提出了用引導濾波器進行代價聚合，邊緣保護性能有所提升，但是其是在圖象全局范圍內進行引導濾波，在深度不連續，圖像梯度變化較大區域仍不能得到更好的結果。Kang?Zhang在《Cross-Scale?Cost?Aggregation?for?Stereo?Matching》一文中首先提出跨尺度融合進行代價聚合的思想，但是其在單尺度的代價聚合效果比較一般。

發明內容

本發明的目的在于避免現有技術中的不足而提供一種機器人視覺立體匹配方法，首先在代價計算部分，可以在兼顧像素點相關性與全局性，在充分考慮到像素點相關性的同時不會過多的引入噪聲。其次在代價聚合階段，利用基于梯度變化的自適應窗口，充分的考慮到圖像的梯度信息，使圖像的邊緣部分得到最大程度的保持，在此基礎之上進一步使用多尺度聚合的方法，得到更優的代價聚合結果。最終在進行視差計算與視差優化，得到最優視差結果，具有機器人視覺立體匹配度高的優點。

本發明的目的通過以下技術方案實現：提供一種機器人視覺立體匹配方法，包括以下步驟：

步驟1、獲取畸變校正與立體校正后的待匹配雙目圖像；

步驟2、改進傳統的基于梯度的匹配代價計算方式，將x,y方向的梯度進行融合；