[發明專利]一種動態視覺傳感器與激光雷達數據融合方法

有效

• 申請號: 202011025103.5
• 申請日: 2020-09-25
• 公開（公告）號: CN112346073B
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 黃凱;朱裕章;李博洋;孟浩;宋日輝
• 申請（專利權）人: 中山大學
• 主分類號: G01S17/86
• 分類號: G01S17/86;G01S17/894;G01C11/04;G06F18/213
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

本發明涉及機器視覺技術領域，更具體地，涉及一種動態視覺傳感器與激光雷達數據融合方法，包括以下步驟：S1：通過動態視覺傳感器和激光雷達分別獲取事件幀數據和點云幀；S2：對得到的數據和點云幀進行預處理得到預處理數據；S3：對預處理數據進行區域劃分，構建鄰域得到鄰域點集合；S4：對動態視覺傳感器的像素點進行深度估計得到深度值；S5：融合像素點和點云幀中的點得到深度圖，根據深度圖得到每個像素點的三維坐標，并填補到點云幀中完成融合得到稠密三維點云數據。本發明利用動態視覺傳感器輸出數據流，同時還能得到稠密的事件點，與激光雷達的點云數據進行融合形成稠密的點云數據，大大提高算法的精確度。

技術領域

本發明涉及機器視覺技術領域，更具體地，涉及一種動態視覺傳感器與激光雷達數據融合方法。

背景技術

目前常用的傳感器設備有相機、激光雷達、動態視覺傳感器等，相機以固定頻率采集幀的形式輸出環境的圖像信息，無法采集位置信息且具有高冗余、高延遲、高噪聲、低動態范圍和高數據量等缺陷；激光雷達可以生成周圍環境的三維空間形態的點云數據，但是價格比較低的三維激光雷達的重要缺陷之一是分辨率低；動態視覺傳感器僅輸出光強發生變化像素的地址和信息，不是被動依次讀出“幀”內每個像素信息，從源頭上消除冗余數據，具有場景變化實時動態響應、圖像超稀疏表示、事件異步輸出等特點，可廣泛應用于高速目標跟蹤、實時監控、工業自動化和機器人視覺等領域。動態視覺傳感器事件點的深度估算的方法按傳感器來分，可以分為單個動態視覺傳感器進行深度估算，兩個或多個動態視覺傳感器進行估算兩類以及一個動態視覺傳感器以及其他傳感器結合進行深度估算。

在智能化、自動化迅猛發展情況下，在應用廣泛的機器人領域，當機器人處于動態變換的環境當中，需要利用特定傳感設備對周圍的物理環境進行感知，這要求數據來源豐富、可靠且便于后續感知算法處理。而且處理精度要高、速度要快，才能更好地感知外部環境。

中國專利CN110675431B公開了一種融合圖像和激光點云的三維多目標跟蹤方法，融合激光雷達的點云以及相機的圖像數據，充分發揮點云數據和圖像數據之間互補的優勢，通過提取目標的三維空間位置信息，點云特征、圖像特征，對檢測目標與跟蹤軌跡之間進行匹配，并結合卡爾曼濾波器對跟蹤軌跡進行狀態估計，得到準確穩定的三維多目標跟蹤。但是這樣的方法需要額外提取目標特征，再通過外參配準的方法進行融合，計算量較大，且精度受限于特征提取算法的效果。

中國專利CN110456363A公開了一種三維激光點云和紅外圖像融合的目標檢測及定位方法，建立紅外相機與三維激光雷達的坐標轉換關系；紅外相機采集紅外圖像，獲得紅外圖像目標候選區域；三維激光雷達采集雷達數據，獲得雷達目標候選區域及其中心點坐標；利用坐標轉換關系將雷達目標候選區域投影到紅外圖像中，得到雷達聚類目標區域；將交并比達到設定門限的紅外雷達公共區域作為最終目標區域保留下來；從最終目標區域中提取區域長寬比、最大溫度和溫度離散度組成聚合多特征輸入分類器對紅外目標進行分類，分類結果結合所述目標定位信息，得到紅外目標檢測及定位結果。這個方案可以提高目標檢測的效果，但其采取了分別對數據進行聚類然后再進行配準的方式，得到的公共區域為融合數據，計算量也較大，且沒有達到像素級精度。

發明內容

本發明的目的在于克服現有技術中的不足，提供一種像素級、高精度、計算量少的動態視覺傳感器與激光雷達數據融合方法。

為解決上述技術問題，本發明采用的技術方案是：

提供一種動態視覺傳感器與激光雷達數據融合方法，包括以下步驟：

S1：通過動態視覺傳感器和激光雷達分別獲取事件幀數據和點云幀；

S2：對得到的數據和點云幀進行預處理得到預處理數據；

S3：對預處理數據進行區域劃分，構建鄰域得到鄰域點集合；

S4：對動態視覺傳感器的像素點進行深度估計得到深度值；