[發(fā)明專利]基于FPGA的數(shù)據(jù)高速采集裝置及方法

在審

• 申請?zhí)枺?/td>: 202010115663.3
• 申請日: 2020-02-25
• 公開（公告）號: CN111343379A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設計）人: 裴海龍;韓世豪
• 申請（專利權(quán)）人: 華南理工大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/225;H04N5/04;H04N7/08;H04N5/907;H04L29/06
• 代理公司: 廣州市華學知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 鄭浦娟

1.一種基于FPGA的數(shù)據(jù)高速采集裝置，其特征在于，包括：雙目相機、IMU、FPGA平臺以及網(wǎng)口模塊，雙目相機和IMU通過FPGA平臺連接至網(wǎng)口模塊，其中，

雙目相機具有兩個圖像傳感器，兩個圖像傳感器的trigger信號由FPGA平臺同步觸發(fā)，并且向FPGA平臺同步輸出采集的實時圖像；

IMU與兩個圖像傳感器通過FPGA平臺達到硬件同步；

FPGA平臺包括FIFO和雙目IMU傳輸IP核，F(xiàn)IFO連接IMU和兩個圖像傳感器，并且同時緩存實時的雙目圖像和IMU數(shù)據(jù)，F(xiàn)IFO連接雙目IMU傳輸IP核，并通過雙目IMU傳輸IP核向網(wǎng)口模塊傳輸同步的雙目圖像和IMU數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的基于FPGA的數(shù)據(jù)高速采集裝置，其特征在于，F(xiàn)IFO包括FIFO1、FIFO2和FIFO3，其中，F(xiàn)IFO1和FIFO2分別連接對應的圖像傳感器并存儲實時圖像，F(xiàn)IFO3連接IMU并存儲IMU數(shù)據(jù)；三個FIFO均連接雙目IMU傳輸IP核。

3.根據(jù)權(quán)利要求1所述的基于FPGA的數(shù)據(jù)高速采集裝置，其特征在于，雙目相機為全局曝光相機，圖像傳感器工作在外觸發(fā)模式，雙目曝光時間同步精度在1ms內(nèi)；

兩個圖像傳感器和IMU之間通過FPGA平臺的雙目IMU時間同步系統(tǒng)實現(xiàn)硬件同步，同步時間1ms內(nèi)。

4.根據(jù)權(quán)利要求1所述的基于FPGA的數(shù)據(jù)高速采集裝置，其特征在于，網(wǎng)口模塊為以太網(wǎng)模塊，數(shù)據(jù)高速采集裝置通過以太網(wǎng)模塊連接上位機，雙目圖像和IMU數(shù)據(jù)根據(jù)圖像傳輸協(xié)議通過以太網(wǎng)傳輸至上位機。

5.根據(jù)權(quán)利要求1所述的基于FPGA的數(shù)據(jù)高速采集裝置，其特征在于，F(xiàn)PGA平臺采用FPGA EP4CE6E22C8N，F(xiàn)IFO采用小容量8Kbyte；圖像傳感器采用安森美AR0134傳感器；IMU采用BMI160六軸傳感器；網(wǎng)口模塊采用RTL8211芯片。

6.一種基于FPGA的數(shù)據(jù)高速采集方法，其特征在于，包括如下步驟：

S1、FPGA平臺配置雙目相機中兩個圖像傳感器的寄存器，使兩個圖像傳感器均工作在外觸發(fā)模式，然后同步觸發(fā)兩個圖像傳感器的trigger信號，使兩個圖像傳感器采集的實時圖像同步輸出；

FPGA平臺將兩個圖像傳感器和IMU硬件同步，并且雙目圖像和IMU數(shù)據(jù)同時緩存至FPGA平臺的FIFO中；

S2、FPGA平臺的雙目IMU傳輸IP核將同步的雙目圖像和IMU數(shù)據(jù)通過圖像傳輸協(xié)議傳輸給上位機；

S3、上位機獲取到數(shù)據(jù)后，根據(jù)圖像傳輸協(xié)議解析出雙目圖像和IMU數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的基于FPGA的數(shù)據(jù)高速采集方法，其特征在于，圖像傳輸協(xié)議為UDP協(xié)議，UDP協(xié)議采用verilog語言，并定義有MAC層、IP層、UDP層、數(shù)據(jù)層和CRC校驗層，其中，數(shù)據(jù)層根據(jù)FPGA平臺中各個FIFO的緩存情況選擇對應的FIFO的數(shù)據(jù)作為待發(fā)送數(shù)據(jù)。

8.根據(jù)權(quán)利要求6所述的基于FPGA的數(shù)據(jù)高速采集方法，其特征在于，圖像傳輸協(xié)議根據(jù)雙目圖像的分辨率N*M，規(guī)定一個數(shù)據(jù)包的長度為N+3個字節(jié)，并且數(shù)據(jù)包的第一個字節(jié)表示相機型號，第二個字節(jié)表示一行圖像中的行數(shù)低8位，第三個字節(jié)表示該行圖像中的行數(shù)高8位，后N個字節(jié)表示該行圖像的數(shù)據(jù)信息，其中，IMU的數(shù)據(jù)包規(guī)定為600個字節(jié)，數(shù)據(jù)包的前兩個字節(jié)分別為0X55、0X50，剩余的字節(jié)為當前幀與上一幀之間的IMU數(shù)據(jù)。

9.根據(jù)權(quán)利要求8所述的基于FPGA的數(shù)據(jù)高速采集方法，其特征在于，上位機根據(jù)圖像協(xié)議解析出雙目圖像和IMU數(shù)據(jù)，具體為：上位機通過數(shù)據(jù)包中的行數(shù)和相機型號解析出雙目圖像，并根據(jù)行數(shù)判定是否丟包，在丟包情況下再進行丟包處理。

10.根據(jù)權(quán)利要求6所述的基于FPGA的數(shù)據(jù)高速采集方法，其特征在于，F(xiàn)PGA平臺通過雙目IMU時間同步系統(tǒng)將兩個圖像傳感器和IMU硬件同步，具體是：

FPGA平臺先采集相機的FLASH信號，然后配置相機的FLASH信號至IMU中的寄存器，在圖像開始曝光時，圖像傳感器所產(chǎn)生的FLASH信號同時觸發(fā)IMU采集IMU數(shù)據(jù)，如果采集到偶數(shù)個IMU數(shù)據(jù)，則取中間兩個IMU數(shù)據(jù)時間戳的中值作為圖像的時間戳；如果采集到奇數(shù)個IMU數(shù)據(jù)，則取中間的IMU數(shù)據(jù)時間戳作為圖像的時間戳。