[發明專利]一種基于FPGA的實時立體視覺實現方法

無效

• 申請號: 201010185865.1
• 申請日: 2010-05-28
• 公開（公告）號: CN101841730A
• 公開（公告）日: 2010-09-22
• 發明（設計）人: 劉濟林;王心煥;丁菁汀
• 申請（專利權）人: 浙江大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T1/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 張法高

技術領域

本發明涉及機器視覺領域，尤其涉及一種基于FPGA的實時立體視覺實現方法。

背景技術

立體視覺系統的主要任務是獲取場景三維信息，在移動機器人、目標跟蹤、三維重建等領域得到了廣泛應用。在立體視覺系統中，立體匹配是關鍵核心。一般來說，室外無人車以及月球車等移動機器人所處的場景通常缺乏規則的點、線等特征，并且由于場景的不確定性和光照等因素的影響，特征提取往往不穩定，且只能得到稀疏的視差圖，必須經過插值才能得到致密的視差圖進而重建場景。因此，實時立體視覺系統中更傾向于采用區域匹配算法。

另外，應用于無人車導航系統的立體視覺還需要滿足實時性、魯棒性等要求。實時性即要求算法運算速度快，能在車輛移動過程中及時獲取場景信息，以便車輛做出行進、避障等決策。區域匹配算法通常運算量較大，以N×N大小的灰度圖像，相關窗口尺寸為w×w，視差搜索范圍D為例，直接計算的復雜度為O(N2w2D)。通過一定的優化技巧雖然可以減小冗余計算，復雜度可降至O(N2D)，但對于通用處理器而言，仍舊無法滿足實時性要求，因此需要采用硬件加速技術或設計專用硬件電路。魯棒性要求主要源于無人車的行駛環境復雜，路面、光照等條件均有較大的不確定性，立體視覺算法在各種條件下都要保持有效。

對于立體匹配實時性的研究，已有大量學者提出了解決方案，其中最著名的NASA火星車使用RAD6000計算機，最高頻率為25MHz，完成一次256×256圖對的匹配需30s。與指令系統相比，FPGA硬件系統雖然沒有通用處理器編程方便，但可以充分利用并行性計算體系結構及合理的流水線設計，把算法直接映射到結構上，大大提高系統的運算速度與精度。因而近年來越來越多的研究選擇用FPGA開發實時立體視覺系統。

發明內容

本發明的目的是克服現有技術的不足，提供一種基于FPGA的實時立體視覺實現方法。

基于FPGA的實時立體視覺實現方法包括如下步驟：

1)建立一個以FPGA為運算處理核心的立體視覺系統，立體相機的左右視圖通過SERDES接口輸入；系統包括6塊1024K×8比特容量的外部SRAM，其中每2個SRAM組成一組乒乓緩存，實現左右視圖以及視差圖無縫傳輸和流水處理；Nand-Flash?ROM芯片用于存放系統離線標定得到的校正參數，上電初始化過程中將校正參數從Flash?ROM中拷貝到SDRAM中以提高參數輸入的速率，實時完成圖像校正；系統以太網作為上行視差輸出和下行校正參數輸入的接口，實現千兆/百兆數據傳輸與長距離傳輸；系統預留2路并口IO，通過FIFO與外設連接，用于檢測結果、輸出中間數據或擴展功能使用；

2)采用FPGA芯片內部集成的多個硬核乘加器，在立體視覺系統工作時，通過下式實時完成多像素并行圖像校正處理，

I^(u,v)=Σi=14A(ui,vi)·I(ui,vi)---(1)]]>

其中為校正后圖像在(u，v)坐標上的灰度值，I(u_i，v_i)為原始圖像上4個相鄰像素點的灰度值，A(u_i，v_i)為相應的校正系數；