[發(fā)明專利]基于FPGA的數(shù)據(jù)高速采集裝置及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010115663.3
• 申請(qǐng)日: 2020-02-25
• 公開（公告）號(hào): CN111343379A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 裴海龍;韓世豪
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): H04N5/232
• 分類號(hào): H04N5/232;H04N5/225;H04N5/04;H04N7/08;H04N5/907;H04L29/06
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 鄭浦娟

本發(fā)明公開了一種基于FPGA的數(shù)據(jù)高速采集裝置及方法，包括雙目相機(jī)、IMU、FPGA平臺(tái)以及網(wǎng)口模塊，雙目相機(jī)和IMU通過FPGA平臺(tái)連接至網(wǎng)口模塊，其中，雙目相機(jī)的兩個(gè)圖像傳感器的trigger信號(hào)由FPGA平臺(tái)同步觸發(fā)，并且向FPGA平臺(tái)同步輸出采集的實(shí)時(shí)圖像；IMU與兩個(gè)圖像傳感器通過FPGA平臺(tái)達(dá)到硬件同步；FPGA平臺(tái)包括FIFO和雙目IMU傳輸IP核，F(xiàn)IFO連接IMU和兩個(gè)圖像傳感器，并且同時(shí)存儲(chǔ)實(shí)時(shí)雙目圖像和IMU數(shù)據(jù)，F(xiàn)IFO連接雙目IMU傳輸IP核，并通過雙目IMU傳輸IP核向網(wǎng)口模塊傳輸同步的雙目圖像和IMU數(shù)據(jù)。本發(fā)明可以同步低延時(shí)傳輸雙目圖像和IMU數(shù)據(jù)，適用于視覺導(dǎo)航定位、工業(yè)檢測(cè)及識(shí)別領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺技術(shù)領(lǐng)域，特別涉及一種基于FPGA的數(shù)據(jù)高速采集裝置及方法。

背景技術(shù)

雙目圖像數(shù)據(jù)廣泛應(yīng)用于視覺導(dǎo)航定位領(lǐng)域，比如：無人機(jī)視覺慣導(dǎo)定位系統(tǒng)、自動(dòng)駕駛導(dǎo)航避障系統(tǒng)、AR、VR、室內(nèi)機(jī)器人和倉庫AGV定位導(dǎo)航系統(tǒng)等等；雙目圖像數(shù)據(jù)也廣泛應(yīng)用于識(shí)別領(lǐng)域，比如：3D人臉識(shí)別、物體感知追蹤。同時(shí)雙目圖像數(shù)據(jù)也應(yīng)用于測(cè)量領(lǐng)域，比如，深度測(cè)量、ADAS和工業(yè)篩檢。

目前雙目圖像采集方案有的使用STM32作為主控，難以同時(shí)處理兩部攝像頭采集到的數(shù)據(jù)，發(fā)熱比較嚴(yán)重；有的雙目圖像數(shù)據(jù)和IMU數(shù)據(jù)之間同步誤差達(dá)到幾十毫秒，在高速場(chǎng)景下基本不能使用。有的雙目圖像數(shù)據(jù)傳輸延遲達(dá)到100毫秒以上，不能實(shí)時(shí)傳輸，在無人機(jī)，自動(dòng)駕駛領(lǐng)域基本沒法使用。有的雙目圖像數(shù)據(jù)傳輸帶寬不夠，在高幀率模式下丟包嚴(yán)重，達(dá)不到高幀率實(shí)時(shí)檢測(cè)，基本無法應(yīng)用于工業(yè)檢測(cè)領(lǐng)域。

發(fā)明內(nèi)容

本發(fā)明的第一目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于FPGA的數(shù)據(jù)高速采集裝置，該裝置可以及時(shí)有效地獲取和傳輸實(shí)時(shí)數(shù)據(jù)，實(shí)現(xiàn)IMU數(shù)據(jù)和雙目數(shù)據(jù)之間硬件級(jí)同步，可以應(yīng)用于高速運(yùn)動(dòng)場(chǎng)景。

本發(fā)明的第二目的在于提供一種基于FPGA的數(shù)據(jù)高速采集方法，該方法能夠同步低延時(shí)傳輸雙目圖像和IMU數(shù)據(jù)，數(shù)據(jù)緩存時(shí)間短、傳輸穩(wěn)定，有利于提高數(shù)據(jù)傳輸?shù)馁|(zhì)量。

本發(fā)明的第一目的通過下述技術(shù)方案實(shí)現(xiàn)：一種基于FPGA的數(shù)據(jù)高速采集裝置，包括：雙目相機(jī)、IMU、FPGA平臺(tái)以及網(wǎng)口模塊，雙目相機(jī)和IMU通過FPGA平臺(tái)連接至網(wǎng)口模塊，其中，

雙目相機(jī)具有兩個(gè)圖像傳感器，兩個(gè)圖像傳感器的trigger信號(hào)由FPGA平臺(tái)同步觸發(fā)，并且向FPGA平臺(tái)同步輸出采集的實(shí)時(shí)圖像；

IMU與兩個(gè)圖像傳感器通過FPGA平臺(tái)達(dá)到硬件同步；

FPGA平臺(tái)包括FIFO和雙目IMU傳輸IP核，F(xiàn)IFO連接IMU和兩個(gè)圖像傳感器，并且同時(shí)緩存實(shí)時(shí)的雙目圖像和IMU數(shù)據(jù)，F(xiàn)IFO連接雙目IMU傳輸IP核，并通過雙目IMU傳輸IP核向網(wǎng)口模塊傳輸同步的雙目圖像和IMU數(shù)據(jù)。

優(yōu)選的，F(xiàn)IFO包括FIFO1、FIFO2和FIFO3，其中，F(xiàn)IFO1和FIFO2分別連接對(duì)應(yīng)的圖像傳感器并存儲(chǔ)實(shí)時(shí)圖像，F(xiàn)IFO3連接IMU并存儲(chǔ)IMU數(shù)據(jù)；三個(gè)FIFO均連接雙目IMU傳輸IP核。

優(yōu)選的，雙目相機(jī)為全局曝光相機(jī)，圖像傳感器工作在外觸發(fā)模式，雙目曝光時(shí)間同步精度在1ms內(nèi)；

兩個(gè)圖像傳感器和IMU之間通過FPGA平臺(tái)的雙目IMU時(shí)間同步系統(tǒng)實(shí)現(xiàn)硬件同步，同步時(shí)間1ms內(nèi)。

優(yōu)選的，網(wǎng)口模塊為以太網(wǎng)模塊，數(shù)據(jù)高速采集裝置通過以太網(wǎng)模塊連接上位機(jī)，雙目圖像和IMU數(shù)據(jù)根據(jù)圖像傳輸協(xié)議通過以太網(wǎng)傳輸至上位機(jī)。

優(yōu)選的，F(xiàn)PGA平臺(tái)采用FPGA EP4CE6E22C8N，F(xiàn)IFO采用小容量8Kbyte；圖像傳感器采用安森美AR0134傳感器；IMU采用BMI160六軸傳感器；網(wǎng)口模塊采用RTL8211芯片。