[發明專利]基于點云上采樣的多模態數據融合可行駛區域檢測方法

在審

• 申請號: 202011501003.5
• 申請日: 2020-12-17
• 公開（公告）號: CN112731436A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 金曉;沈會良
• 申請（專利權）人: 浙江大學
• 主分類號: G01S17/86
• 分類號: G01S17/86;G01S17/89;G01S17/00;G01S7/48
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 萬尾甜;韓介梅

本發明公開了一種基于點云上采樣的多模態數據融合可行駛區域檢測方法，主要包括空間點云自適應上采樣和多模態數據融合可行駛區域檢測兩個部分。通過聯合標定算法對相機與激光雷達進行配準，將點云投影至圖像平面獲取稀疏點云圖，利用像素局部窗口計算邊緣強度信息，自適應選擇點云上采樣方案，獲得稠密點云圖；對所得稠密點云圖與RGB圖像進行特征提取和交叉融合，實現可行駛區域快速檢測。本發明的檢測方法能夠實現可行駛區域快速、準確的檢測分割。

技術領域

本發明涉及一種基于點云上采樣的多模態數據融合可行駛區域檢測方法，主要包括空間點云的自適應上采樣、多模態數據融合可行駛區域檢測兩部分。

背景技術

根據選擇的傳感器種類不同，當前的可行駛區域檢測算法主要存在著以相機為主和以激光雷達為主的兩種方案。其中相機具有成本低、幀率高和分辨率高等諸多優點，但是其容易受到天氣等因素干擾，魯棒程度較低。另一方面，激光雷達以三維點云為主要獲取數據，其雖然在分辨率和成本上有所不足，但具有很高的三維測量精度以及較強的抗干擾能力，因而在無人系統中得到了普遍應用。對于點云的稀疏性，現有的一些方法采用了諸如聯合雙邊濾波上采樣的方式，在局部窗口內進行加權估計，進而獲取致密空間信息，但其大多存在著邊緣恢復較為模糊、細節保留程度不夠等問題。

隨著對可行駛區域檢測算法精度要求的不斷提高，使用單一傳感器進行可行駛區域檢測雖在部分場景下可以實現較為可靠的檢測，但仍存在著一定的局限性。為了獲得更好的檢測效果，基于圖像和點云的融合方法也開始不斷出現。

Zhang Y等在文獻【Fusion of LiDAR and Camera by Scanning in LiDARImagery and Image-Guided Diffusion for Urban Road Detection,[J].2018:579-584.】中提出了一種傳統的相機與激光雷達融合方法。該方法在對點云進行初步篩選的基礎上利用行和列掃描思想確定可行駛區域離散點云，并以圖像為引導實現道路區域的像素級分割。該方法的缺陷在于檢測過程沒有充分利用圖像信息，對于一些結構化程度較差的道路場景不太適用。

發明內容

為克服上述缺陷，本發明要解決的技術問題是提供一種基于邊緣強度自適應的空間點云上采樣方法，增強邊緣與細節信息的保留。

與此相應，本發明另一個要解決的技術問題是提供一種能充分融合點云和圖像特性的可行駛區域檢測框架。

對于智能車可行駛區域檢測而言，本發明解決上述技術問題主要包括如下步驟：基于像素邊緣強度完成稀疏點云的自適應上采樣，然后將同步后的RGB圖像與稠密點云圖作為輸入，進行特征提取、融合，輸出檢測結果。

本發明具體采用以下技術方案實現：

一種基于點云上采樣的多模態數據融合可行駛區域檢測方法，該方法通過聯合標定算法對相機與激光雷達進行標定，將點云投影至圖像平面獲取稀疏點云圖，利用像素局部窗口計算邊緣強度信息，自適應選擇點云上采樣方案，獲得稠密點云圖；對所得稠密點云圖與RGB圖像進行特征提取和交叉融合，實現可行駛區域快速檢測。

上述技術方案中，進一步地，在稀疏點云圖的基礎上可利用像素局部窗口計算邊緣強度信息，進而將像素分為非邊緣區域和邊緣區域兩類，并據此完成自適應上采樣。利用像素局部窗口計算邊緣強度信息，具體為：對于每一個像素，利用像素局部窗口內的點云距離，按如下公式計算邊緣強度信息，當邊緣強度信息大于指定閾值τ時，認為該像素處于邊緣區域，否則認為該像素處于非邊緣區域：

其中，σ表示標準差計算，表示窗口內點云的平均距離，λ為一個固定參數。所述的像素局部窗口是指以該像素為中心的鄰域窗口，所述的邊緣強度信息用于表征該像素處于邊緣的可能性。