[發(fā)明專利]一種可實現(xiàn)硬件加速的雙目感知方法

在審

• 申請?zhí)枺?/td>: 202010039667.8
• 申請日: 2020-01-15
• 公開（公告）號: CN111050155A
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計）人: 裴海龍;楊鑫
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: H04N13/239
• 分類號: H04N13/239;H04N13/296;G06F13/20;G06T1/20;G06T7/80
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 鄭浦娟

本發(fā)明公開了一種可實現(xiàn)硬件加速的雙目感知方法，包括先引出雙目攝像頭的兩個攝像頭芯片的外觸發(fā)引腳，并配置攝像頭芯片的寄存器，使攝像頭芯片工作在外觸發(fā)模式；然后通過雙目攝像頭捕獲雙目圖像和進行離線標定，得到雙目攝像頭的參數(shù)；接著將雙目攝像頭接入Zynq UltraScale+MPSoC的PL部分，然后進行同步觸發(fā)，采集實時雙目圖像；根據(jù)雙目攝像頭的參數(shù)生成自定義IP，在PL中，調(diào)用自定義IP進行相機校正和對實時雙目圖像進行雙目立體匹配，從而生成實時視差圖；最后將實時視差圖傳輸給Zynq UltraScale+MPSoC的PS部分，并與其中的DDR4內(nèi)存進行數(shù)據(jù)交互，同時生成Linux內(nèi)核和文件系統(tǒng)管理DDR4中的圖像緩存。本發(fā)明可應(yīng)用于對算力和功耗有要求的嵌入式系統(tǒng)，可以有效實現(xiàn)硬件加速。

技術(shù)領(lǐng)域

本發(fā)明涉及立體視覺和嵌入式系統(tǒng)設(shè)計技術(shù)領(lǐng)域，特別涉及一種可實現(xiàn)硬件加速的雙目感知方法。

背景技術(shù)

立體視覺是計算機視覺領(lǐng)域的一個重要課題，它的目的在于通過雙目感知重構(gòu)場景的三維幾何信息。立體視覺廣泛應(yīng)用于機器人技術(shù)之中，通常對硬件有特定的選擇，比如，當立體視覺應(yīng)用于移動場景例如無人機及無人駕駛中，由于場景快速移動，卷簾相機拍攝圖像會有模糊，選擇全局曝光攝像頭很有必要。立體匹配是立體視覺中的關(guān)鍵一環(huán)，相機硬件同步觸發(fā)可以很大程度上減少誤匹配。在嵌入式系統(tǒng)中，還要特別考慮硬件的重量和功耗，盡量選擇小封裝的芯片型號。另外，由于立體視覺的相關(guān)算法復(fù)雜，計算量大，對硬件處理速度也有一定的要求，如何提高硬件的處理速度也一直是立體視覺的研究課題。

目前，在PC端上用CPU作為處理器的算法研究有些并不適用于嵌入式系統(tǒng)，主流的技術(shù)方案是選擇GPU或者FPGA平臺來實現(xiàn)。國內(nèi)外研究機構(gòu)已經(jīng)對立體視覺一些常用算法在FPGA上的實現(xiàn)展開了廣泛的研究，其中不乏使用Xilinx公司的Zynq系列SoC作為主芯片，它可降低傳統(tǒng)方法上FPGA和移動CPU的信息交互代價，并且更加輕便和小封裝，非常適用于現(xiàn)在的嵌入式處理平臺。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點與不足，提供一種可實現(xiàn)硬件加速的雙目感知方法，該方法可應(yīng)用于對算力和功耗有要求的嵌入式系統(tǒng)，可以有效實現(xiàn)硬件加速，適用于實時性要求高的場景。

本發(fā)明的目的通過下述技術(shù)方案實現(xiàn)：一種可實現(xiàn)硬件加速的雙目感知方法，包括如下步驟：

S1、針對于雙目攝像頭的兩個攝像頭芯片，分別引出攝像頭芯片的外觸發(fā)引腳，并對攝像頭芯片的寄存器進行配置，使攝像頭芯片工作在外觸發(fā)模式；

S2、通過雙目攝像頭捕獲雙目圖像，根據(jù)雙目圖像進行雙目攝像頭的離線標定，得到雙目攝像頭的參數(shù)；

將雙目攝像頭接入Zynq UltraScale+MPSoC的PL部分，然后將雙目攝像頭和PL進行同步觸發(fā)，采集實時雙目圖像；

S3、根據(jù)雙目攝像頭的參數(shù)生成自定義IP，在PL中，調(diào)用自定義IP進行相機校正和對實時雙目圖像進行雙目立體匹配，從而生成實時視差圖；

S4、將實時視差圖傳輸給Zynq UltraScale+MPSoC的PS部分，并與其中的DDR4內(nèi)存進行數(shù)據(jù)交互，同時生成Linux內(nèi)核和文件系統(tǒng)管理圖像緩存。

優(yōu)選的，雙目攝像頭的選型要求為：采用全局曝光方式、采用小封裝和具有外觸發(fā)模式。

優(yōu)選的，攝像頭芯片為AR0144CMOS芯片。

優(yōu)選的，在步驟S2中，采用Matlab標定工具箱進行雙目離線標定，得到的雙目攝像頭的參數(shù)包括相機內(nèi)參矩陣和畸變系數(shù)。

優(yōu)選的，雙目攝像頭具有MIPI輸出接口，MIPI輸出接口通過MIPI CSI-2RxSubsystem模塊接入PL；兩個攝像頭芯片的Trigger引腳連接至同一個PL引腳，以此進行同步觸發(fā)。