[發明專利]激光雷達和相機的點云數據融合方法、裝置

在審

• 申請號: 202011410104.1
• 申請日: 2020-12-04
• 公開（公告）號: CN112561841A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 陳海波;陳瀟
• 申請（專利權）人: 深蘭人工智能（深圳）有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 常瑩瑩

本發明提供一種激光雷達和相機的點云數據融合方法、裝置，所述方法包括：控制激光雷達以第一預設頻率進行激光點云數據采集，并控制相機以第二預設頻率進行圖像點云數據采集；獲取激光雷達相鄰兩幀點云數據間相機采集的圖像點云數據；對圖像點云數據進行處理以獲取三維特征點；獲取三維特征點處的激光點云數據和圖像點云數據，并建立匹配關系；根據匹配關系將圖像點云數據的坐標變換到激光雷達坐標系，以進行數據融合。該方法通可以獲取高質量的點云，提高了點云分辨率，且融合性能與激光雷達與視覺傳感器間的相對位姿的測量精度無關，不受相機內參變化和相機與激光雷達間外參變化影響，穩定性、魯棒性較強。

技術領域

本發明涉及數據處理技術領域，具體涉及一種激光雷達和相機的點云數據融合方法、一種激光雷達和相機的點云數據融合裝置、一種計算機設備和一種非臨時性計算機可讀存儲介質。

背景技術

隨著人工智能、大數據的不斷發展，無人駕駛同樣得到了廣泛的關注，無人駕駛技術未來在輔助駕駛、解決城市問題、減少交通事故等起到關鍵的作用。

目前無人駕駛領域的定位和導航，主要使用的傳感器有很多種，使用較廣泛的是攝像機和三維激光雷達，在使用激光雷達進行定位和導航的過程中，需要將激光雷達與視覺傳感器進行標定，將激光雷達的點云投影到圖像進行激光雷達和相機的點云數據融合。

相關技術中，融合方式又主要是根據激光雷達點云在圖像中的投影位置，推測激光雷達點云的色彩信息，利用帶顏色信息的點云數據，完成后續的目標檢測、識別、跟蹤等應用；或者基于激光雷達點云在圖像中的投影位置，根據激光雷達點云的三維坐標信息，推測其周圍的圖像像素的三維坐標信息，利用帶三維坐標信息的圖像數據，完成后續的目標檢測、跟蹤、識別等應用。

然而，上述數據融合的性能主要取決于激光雷達與視覺傳感器間相對位姿標定的準確程度，即使靜態標定可以取得足夠的標定精度，但在用于無人駕駛車輛時，車輛行駛過程中的震動、顛簸會導致相對位姿的改變，進而影響數據融合的性能。

發明內容

本發明為解決上述技術問題，提供了一種激光雷達和相機的點云數據融合方法，該方法通過獲取激光雷達相鄰兩幀數據間相機采集的圖像點云數據，可以獲取高質量的點云，并以此進行激光點云數據和圖像點云數據間的匹配、融合，提高了點云分辨率，且融合性能與激光雷達與視覺傳感器間的相對位姿的測量精度無關，不受相機內參變化和相機與激光雷達間外參變化影響，應用于無人駕駛車輛時，針對車輛行駛過程中常見的震動、顛簸等情況具有較強的魯棒性。

本發明還提出一種激光雷達和相機的點云數據融合裝置。

本發明還提出一種計算機設備。

本發明還提出一種非臨時性計算機可讀存儲介質。

本發明采用的技術方案如下：

本發明第一方面實施例提出了一種激光雷達和相機的點云數據融合方法，包括以下步驟：控制所述激光雷達以第一預設頻率進行點云數據采集得到激光點云數據，并控制所述相機以第二預設頻率進行點云數據采集得到圖像點云數據，其中所述第一預設頻率小于所述第二預設頻率；獲取所述激光雷達相鄰兩幀激光點云數據間所述相機采集的圖像點云數據；對所述圖像點云數據進行三維重建、視覺里程計以獲取三維特征點；獲取所述三維特征點處的特征點激光點云數據和所述三維特征點處的特征點圖像點云數據，并建立所述特征點激光點云數據和所述特征點圖像點云數據間的匹配關系；根據所述匹配關系將所述圖像點云數據的坐標變換到激光雷達坐標系，并將所述圖像點云數據疊加到所述激光點云數據中。

根據本發明的一個實施例，所述第一預設頻率為10幀/秒，所述第二預設頻率為30幀/秒。

根據本發明的一個實施例，通過EPnP(一種3d-2d位姿估計算法)方法建立所述特征點激光點云數據和所述特征點圖像點云數據間的匹配關系。