[發明專利]多輸出參數可動態配置深度相機

有效

• 申請號: 202110493091.7
• 申請日: 2021-05-07
• 公開（公告）號: CN113329219B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 劉永桂;湯子鳴
• 申請（專利權）人: 華南理工大學
• 主分類號: H04N13/122
• 分類號: H04N13/122;H04N13/128;H04N13/161;H04N13/239;H04N5/225;H04N5/765
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 詹麗紅

本發明公開了一種多輸出參數可動態配置深度相機，包含以現場可編程門陣列(FPGA)芯片為基礎，可重構計算框架為核心的深度圖像處理器，將雙目視覺技術中立體匹配的代價聚合過程以更高計算效率和靈活性的硬件并行方式實現。通過兩顆CMOS圖像采集芯片采集雙目初始圖像，由可重構深度圖像處理器對雙目初始圖像處理得到深度圖像。處理器包含可外部動態配置深度圖像參數的接口，在設備運行或初始化時可對深度圖像參數包括分辨率、幀率、圖像編碼、圖像疊加以及輸出接口等參數動態配置。該深度相機能在不同使用場景下完成不同需求的深度圖像采集任務而無需更換軟硬件，擁有良好的多場景適應性。

技術領域

本發明涉及計算機和微電子技術領域，具體涉及一種多輸出參數可動態配置深度相機。

背景技術

深度相機是一種用于獲取視野范圍內深度圖像的一種采集設備，深度圖像不同于傳統攝像頭采集的平面圖像，其中包含了圖像內不同的像素點對應的相對距離信息。由深度圖像可以實現對場景的三維信息提取，從而進一步進行包括人臉識別，三維目標識別以及多分辨率建模和幾何壓縮等場景應用，具有很強的實用價值。

現有的深度圖像采集技術主要包括結構光技術，TOF技術（TimeOfFlight）以及雙目視覺技術，其中結構光技術擁有分辨率高且近距離下高精度的優勢；TOF技術估算發射光信號和反射光信號之間的延遲以計算物體到發射點之間的距離，優點是測量方法簡單，響應較快且無需基線；雙目視覺技術使用雙目攝像頭及像素匹配和三角形原理計算目標像素的距離信息，優點是測量范圍大，可實現遠距離深度獲取，且成本較低。但由于在不同的使用場景下，對于深度圖像的需求也各不相同，例如在三維重建過程中需要高精度數據提高準確率，而機器人避障則需要高幀率圖像以提高實時性。而由于結構光和TOF技術由于硬件傳感器限制或只能在近距離擁有最佳性能，不能適應多種不同情況下的深度圖像采集需要。

現有部分深度相機產品將兩種或多種深度圖像采集技術進行融合以得到更高準確率的深度圖像，但是無法針對不同應用場景而改變輸出參數，且系統結構復雜，硬件成本高。因此，要實現能夠根據不同應用場景動態切換深度圖像參數（主要為分辨率和幀率）的功能且保證低成本，使用基于雙目視覺技術構建的深度相機輔以使用可重構視覺處理技術構建的處理器具有較強的可操作性。

發明內容

本發明的目的是為了解決現有技術中的上述缺陷，提供一種多輸出參數可動態配置深度相機。

本發明的目的可以通過采取如下技術方案達到：

一種可動態配置輸出深度圖像參數的深度相機，深度圖像的可配置參數包括輸出的圖像格式、分辨率、幀率和輸出接口。以現場可編程門陣列（FPGA）芯片為深度圖像處理器，兩枚可配置輸出參數的CMOS圖像采集芯片用于采集雙目視覺計算初始圖像，DDR外部存儲器芯片用于緩存數據，深度相機還包括光學鏡頭以及深度圖像輸出接口和外部配置輸入接口。

上述參數可動態配置深度相機的核心為FPGA深度圖像處理器，使用半全局立體匹配算法（SGM）作為核心算法，以硬件描述語言設計。處理器包括三個用于存儲配置參數的寄存器，其中第一寄存器用于配置深度圖像分辨率和幀率，第二寄存器用于配置輸出圖像的編碼格式與整合模式，第三寄存器用于配置輸出圖像的接口。