[發(fā)明專利]一種基于Census變換和灰度絕對差的混合匹配雙目視覺系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110247464.2
• 申請日: 2021-03-05
• 公開（公告）號: CN112907714B
• 公開（公告）日: 2023-04-11
• 發(fā)明（設(shè)計）人: 劉貴鵬;張銘旭;齊御京;曹智杰;趙桂娟
• 申請（專利權(quán)）人: 蘭州大學(xué)
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T5/00;G06T7/13;G06T3/40
• 代理公司: 蘭州振華專利代理有限責任公司 62102
• 代理人: 張晉

1.一種基于Census變換和灰度絕對差的混合匹配雙目視覺系統(tǒng)，其特征在于：所述系統(tǒng)包括相互之間電性連接的雙目圖像數(shù)據(jù)采集模塊、FPGA圖像數(shù)據(jù)處理模塊和視差圖輸出顯示模塊；所述FPGA圖像數(shù)據(jù)處理模塊包括圖像矯正、圖像預(yù)處理、圖像變換以及雙目匹配過程；

所述雙目圖像數(shù)據(jù)采集模塊為CMOS傳感器；所述圖像矯正過程使采集到的圖像位于同一水平線，然后將矯正后的圖像灰度化，完成圖像預(yù)處理；再進行圖像變換步驟，包括圖像邊緣檢測、自適應(yīng)窗口大小的Census變換、灰度絕對差計算、相似度匹配函數(shù)計算；

所述圖像邊緣檢測利用Sobel算子進行圖像邊緣檢測，計算圖像數(shù)據(jù)的梯度值；

所述自適應(yīng)窗口大小的Census變換根據(jù)Sobel算子計算得到的梯度值，使用狀態(tài)機對不同范圍梯度值的像素點跳轉(zhuǎn)進入不同窗口大小的Census變換，而后得到雙目圖像對應(yīng)像素點的漢明距離；

所述Sobel算子為改進的Sobel算子：

使得G＝|G_x+G_y|，而

SH＝middle(p₁+p₂+p₃+p₄+p₅+p₆+p₇+p₈+p₉),SL＝0.5×middle(p₁+p₂+p₃+p₄+p₅+p₆+p₇+p₈+p₉)，

令SH和SL分別作為高低閾值，進行不同窗口的Census變換；

所述自適應(yīng)窗口大小的Census變換，對于實現(xiàn)n×n窗口大小的Census變換，通過使用n個FIFO實現(xiàn)其目的，其中第1個FIFO的讀使能信號為數(shù)據(jù)圖像數(shù)據(jù)有效信號，第i個FIFO的讀使能信號為第i+1個FIFO的寫使能信號，第i個FIFO的寫使能信號為第i-1個FIFO的讀使能信號，且i≠1；使得n個相同列的數(shù)據(jù)同時讀出，最終實現(xiàn)n×n窗口大小的Census變換，再求得對應(yīng)像素點的漢明距離；所述n為7或9或11；

所述灰度值計算為計算同一時刻兩幅圖像數(shù)據(jù)對應(yīng)指定像素點的灰度絕對差值；

所述相似度匹配函數(shù)計算：對相同像素點Census變換后得到的漢明距離和灰度絕對差值，分別加權(quán)并相加，作為雙目匹配的相似性檢測函數(shù)；

所述雙目圖像數(shù)據(jù)采集模塊采集到的圖像為左右兩幅圖像，對于左右兩幅圖像，以左圖像為參考圖像，右圖像為目標圖像，d為視差搜索范圍，將目標圖像同一幀的Census變換后的數(shù)據(jù)和灰度數(shù)據(jù)拼接成為一個N位的數(shù)據(jù)，存入N×d位的移位寄存器，不斷更新移位寄存器中的數(shù)據(jù)，計算與參考圖像的相似度匹配函數(shù)，記錄最小值所對應(yīng)的像素點，即為最佳匹配點；

所述相似度匹配函數(shù)計算如下：設(shè)定相似度匹配函數(shù)為S(x)_i＝αHaming(x,x+i)+β|I_L(x)-I_r(x+i)|，其中Haming(x,x+i)為左右圖像對應(yīng)像素數(shù)據(jù)的漢明距離，I(x)為圖像的灰度數(shù)據(jù)，α、β為自定義的加權(quán)系數(shù)，要求α+β＝1，可根據(jù)不同環(huán)境條件下，調(diào)整α、β的大小，改變兩種變換所占比大小，使得匹配達到最好效果；以相似度匹配函數(shù)為條件，在視差搜索范圍內(nèi)，遍歷所有像素點，其值最小的即為最佳匹配點；

利用雙目匹配的相似性檢測函數(shù)記錄最小值所對應(yīng)的像素點，即為最佳匹配點，通過視差圖輸出顯示模塊輸入顯示。

2.根據(jù)權(quán)利要求1所述的雙目視覺系統(tǒng)，其特征在于，所述自適應(yīng)窗口大小的Census變換對于梯度值大于或等于SH的圖像數(shù)據(jù)，進行7×7窗口的Census變換；對于梯度值大于SL且小于SH的圖像數(shù)據(jù)，進行9×9窗口的Census變換；對于梯度值小于或等于SL的圖像數(shù)據(jù)，進行11×11窗口的Census變換。

3.根據(jù)權(quán)利要求2所述的雙目視覺系統(tǒng)，其特征在于，所述雙目圖像數(shù)據(jù)采集模塊為改進的無圖像畸變的采集大小為640*480的兩個OV5640攝像頭。

4.根據(jù)權(quán)利要求3所述的雙目視覺系統(tǒng)，其特征在于，所述FPGA圖像處理模塊包括Census變換和灰度絕對差值兩路，Census變換支路分別連接電性FIFO、DDR3和FIFO，實現(xiàn)雙目圖像的實時緩存。