[發明專利]一種基于Census變換和灰度絕對差的混合匹配雙目視覺系統

有效

• 申請號: 202110247464.2
• 申請日: 2021-03-05
• 公開（公告）號: CN112907714B
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 劉貴鵬;張銘旭;齊御京;曹智杰;趙桂娟
• 申請（專利權）人: 蘭州大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T5/00;G06T7/13;G06T3/40
• 代理公司: 蘭州振華專利代理有限責任公司 62102
• 代理人: 張晉

發明涉及一種基于Census變換和灰度絕對差的混合匹配雙目視覺系統，所述系統包括相互之間電性連接的雙目圖像數據采集模塊、FPGA圖像數據處理模塊和視差圖輸出顯示模塊；所述FPGA圖像數據處理模塊包括圖像矯正、圖像預處理、圖像變換以及雙目匹配過程；利用雙目匹配的相似性檢測函數記錄最小值所對應的像素點，即為最佳匹配點，通過視差圖輸出顯示模塊輸入顯示。本發明的雙目視覺系統采用的算法不僅大大減少了計算量，有效排除了光照、噪聲等環境因素的影響；而且在基于傳統Census變換的基礎上，通過判斷是否為物體邊緣，來進行自適應窗口大小的Census變換，大大增加了匹配的準確性。

技術領域

本發明屬于立體視覺技術領域，具體涉及一種基于Census變換和灰度絕對差的混合匹配雙目視覺系統。

背景技術

自從1984年世界上第一款FPGA誕生以來，至今還不到40年的時間。但是FPGA技術卻取得了飛速發展，因為其在性能、成本、開發時間、穩定性及后期維護等方面的巨大優勢，FPGA在很多方面逐漸取代了DSP和ASIC。而且，近年來，隨著國家對集成電路事業的大力支持，國產FPGA也取得了很大的進步。本發明中算法處理部分就是基于紫光同創公司的PSD軟件和PGL22G開發板搭建的。

隨著人工智能硬件和工業互聯網的不斷發展，機器視覺應用異常熱門，尤其是在實時立體視覺方面。立體視覺技術在安全性、成本以及可靠性等方面相對于其他三維傳感器有很多優勢，因而在移動終端、無人機、VR(Virtual?Reality)、ADAS(Advanced?DriverAssistance?system)、機器人導航、人機交互、AR(Augmented?Reality)、國防安全以及智能監控等領域有廣泛的應用。

目前，對于雙目立體視覺來說，主流的算法主要分為全局匹配和局部匹配。全局匹配由于其要求平臺要有強大的計算能力而常常無法滿足實時性的要求，故在很多應用領域受到很大限制。而傳統的局部匹配方法主要有灰度絕對差值(SAD)、灰度平方和(SSD)、歸一化互相關(NCC)以及Rank變換等，這些算法運算簡單但是匹配精度較差，且容易受到環境光照等因素的影響，不具有普適性。

發明內容

本發明的目的在于克服現有技術的不足，提出一種基于Census變換和灰度絕對差的混合匹配雙目視覺系統。

本發明的一種基于Census變換和灰度絕對差的混合匹配雙目視覺系統，所述系統包括相互之間電性連接的雙目圖像數據采集模塊、FPGA圖像數據處理模塊和視差圖輸出顯示模塊；所述FPGA圖像數據處理模塊包括圖像矯正、圖像預處理、圖像變換以及雙目匹配過程；

所述雙目圖像數據采集模塊為CMOS傳感器；所述圖像矯正過程使采集到的圖像位于同一水平線，然后將矯正后的圖像灰度化，完成圖像預處理；在再進行圖像變換步驟，包括圖像邊緣檢測、自適應窗口大小的Census變換、灰度絕對差計算、相似度匹配函數計算；

所述圖像邊緣檢測利用Sobel算子進行圖像邊緣檢測，計算圖像數據的梯度值；

所述自適應窗口大小的Census變換根據Sobel算子計算得到的梯度值，使用狀態機對不同范圍梯度值的像素點跳轉進入不同窗口大小的Census變換，而后得到雙目圖像對應像素點的漢明距離；

所述灰度值計算指計算同一時刻兩幅圖像數據對應指定像素點的灰度絕對差值；

所述相似度匹配函數計算指對相同像素點Census變換后得到的漢明距離和灰度絕對差值，分別加權并相加，作為雙目匹配的相似性檢測函數；

利用雙目匹配的相似性檢測函數記錄最小值所對應的像素點，即為最佳匹配點，通過視差圖輸出顯示模塊輸入顯示。

進一步，本發明的雙目視覺系統，所述Sobel算子為改進的Sobel算子：

使得G＝|G_x+G_y|，而