[發明專利]多輸出參數可動態配置深度相機

有效

• 申請號: 202110493091.7
• 申請日: 2021-05-07
• 公開（公告）號: CN113329219B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 劉永桂;湯子鳴
• 申請（專利權）人: 華南理工大學
• 主分類號: H04N13/122
• 分類號: H04N13/122;H04N13/128;H04N13/161;H04N13/239;H04N5/225;H04N5/765
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 詹麗紅

1.一種多輸出參數可動態配置深度相機，其特征在于，所述深度相機包括FPGA深度圖像處理器(15)、外部配置接口(11)、DDR外部存儲器(16)、左視圖像采集相機(17)和右視圖像采集相機(18)，其中，所述左視圖像采集相機(17)包括左相機光學鏡頭(171)和左視CMOS圖像采集芯片(172)，所述右視圖像采集相機(18)包括右相機光學鏡頭(181)和右視CMOS圖像采集芯片(182)；目標深度采集區域的圖像經過左相機視覺采集光路和右相機視覺采集光路分別由左視圖像采集相機(17)的左相機光學鏡頭(171)聚焦到左視圖像采集相機(17)的左視CMOS圖像采集芯片(172)和由右視圖像采集相機(18)的右相機光學鏡頭(181)聚焦到右視圖像采集相機(18)的右視CMOS圖像采集芯片(182)上得到目標區域的左右雙目視圖，該左右雙目視圖由FPGA深度圖像處理器(15)進行處理得到目標區域深度圖像，目標區域深度圖像由多個可配置輸出的第一圖像輸出接口(12)、第二圖像輸出接口(13)以及第三圖像輸出接口(14)進行輸出；

所述FPGA深度圖像處理器(15)包括CMOS采集模式配置模塊(162)，依據第一寄存器(152)分辨率配置兩顆CMOS圖像采集芯片的參數使其輸出預期格式圖像；CMOS圖像采集模塊(161)用于接收CMOS圖像采集芯片輸出的圖像并編碼；圖像校正和拼接模塊(163)將兩CMOS采集圖像經基線校正后拼接為一幅圖像；初始代價計算模塊(165)對經校正的雙目圖像執行第一次代價計算；外部存儲控制器(164)與需要進行數據存取的模塊相連，并將交互數據統一后產生對應的控制命令，向DDR外部存儲器(16)中寫入數據或從其中讀取數據；SGM代價聚合數據控制器(153)，用于提取初始代價空間數據并按照第一寄存器(152)的分辨率配置進行代價聚合時的初始代價空間數據分配；可重構聚合單元池(154)，內部包括多個并行代價聚合單元，其依據送入數據進行并行SGM算法的代價聚合并計算得到最小代價值；聚合結果整合及深度計算與優化模塊(155)，對可重構聚合單元池(154)輸出結果進行整合后使用三角形法計算深度值后再實施優化；圖像編碼與整合模塊(157)，按照第二寄存器(156)配置進行不同類型的深度圖像編碼及圖像疊加，其中，不同類型的深度圖像編碼包括RGB、GRAY、YCbCr或YUV，對圖像疊加的配置包括配置為與DDR外部存儲器(16)中讀取的CMOS圖像采集芯片采集的初始圖像進行疊加；圖像輸出模塊(159)，對深度圖像進行轉換和輸出；輸出接口選擇模塊(160)，依據第三寄存器(158)配置以不同圖像輸出接口方式進行編碼并將數據送至對應圖像輸出接口；

所述SGM代價聚合數據控制器(153)通過外部存儲控制器(164)從DDR外部存儲器(16)當中讀取初始代價空間數據，并按照第一寄存器(152)的分辨率配置數據，將初始代價空間數據依次送入可重構聚合單元池(154)中的并行計算的每個聚合單元中，在每個聚合單元中使用半全局匹配方式進行每個像素并行的代價聚合運算，在每個聚合單元內得到最小代價值，由后續連接的聚合結果整合及深度計算與優化模塊(155)使用三角形法獲得各個像素到目標位置的相對距離值，再經濾波、降噪和剔除錯誤匹配、連通域檢查優化操作后輸出最終深度圖像。

2.根據權利要求1所述的一種多輸出參數可動態配置深度相機，其特征在于，所述圖像編碼與整合模塊(157)讀取第二寄存器(156)配置數據，根據配置數據中定義的輸出圖像數據格式對聚合結果整合及深度計算與優化模塊(155)輸出的深度值進行編碼，且可配置為與DDR外部存儲器(16)中讀取的CMOS圖像采集芯片采集的初始圖像進行疊加后輸出，輸出的深度圖像由后續圖像輸出模塊(159)按照第三寄存器(158)中配置的圖像輸出接口格式進行對應格式轉換后送至輸出接口選擇模塊(160)并傳送至對應圖像接口進行輸出。