[發明專利]一種基于激光雷達與攝像頭融合的三維目標檢測方法

在審

• 申請號: 202011201913.1
• 申請日: 2020-11-02
• 公開（公告）號: CN112288667A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 劉甫;張輝;聶暢
• 申請（專利權）人: 上海智駕汽車科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種基于激光雷達與攝像頭融合的三維目標檢測方法，屬于多傳感器三維感知技術。本方法通過激光雷達點云與攝像頭圖像的前融合，將融合數據點體素化，利用深度學習網絡進行三維目標檢測。本方法提高了多傳感器融合的三維目標檢測準確率，并且大幅提升運行效率，降低訓練時間和推理時間，可實時在線的用于高級的汽車ADAS系統。

技術領域

本發明涉及三維空間多傳感器融合感知技術領域，具體為一種基于激光雷達與攝像頭融合的三維目標檢測方法。

背景技術

隨著自動駕駛技術發展，ADAS系統對于環境感知的要求越來越高，二維的目標檢測方法對于簡單的ADAS系統已經足夠，比如車道居中控制、車道偏離預警、標志牌識別等。但其缺乏的三維距離信息，對于高級的ADAS系統是一大障礙。

普通的攝像頭對于目標的檢測只能分辨出目標類別，對于目標在三維空間的位置感知誤差較大。激光雷達進行三維目標檢測具有天然的距離優勢，能夠直接獲取到各個點的位置信息，但其缺乏圖像豐富的視覺信息。

目前現有的多傳感器融合三維目標檢測方法采用先進行二維目標檢測，提取出ROI區域再劃分出部分點云進行三維目標檢測。這種串聯的檢測方法雖然可以充分利用較為成熟的二維目標檢測器，但整體的三維檢測效果也過分依賴于二維目標檢測器，沒有充分發揮三維點云的距離稀疏特性。而另一種多傳感器融合三維目標檢測方法采用將圖像與點云先分別進行卷積網絡，得到特征圖，再在特征層面進行對應融合。這種方法雖然可行，但是其因為網絡結構復雜，網絡層數過多，其運行速度過慢，實時性不好，難以實際用于ADAS系統。

發明內容

本發明所解決的技術問題在于提供一種基于激光雷達與攝像頭融合的三維目標檢測方法，以解決上述背景技術中的問題。

本發明所解決的技術問題采用以下技術方案來實現一種基于激光雷達與攝像頭融合的三維目標檢測方法，具體包括以下步驟：

步驟1：將攝像頭采集的圖像(h,w,3)輸入圖像處理網絡，以得到與初始圖像大小相同的圖像特征圖(h,w,n_channel)；所述圖像(h,w,3)表示長為w像素，寬為h像素，每個像素擁有RGB3個通道；所述圖像特征圖(h,w,n_channel)表示長為w像素，寬為h像素，每個像素擁有n_channel個通道；

步驟2：將激光雷達獲取的三維點云(n,4)通過聯合標定后的坐標變換矩陣，坐標變換到圖像坐標系進行投影，每個在圖像大小范圍內的點云都獲取對應像素點的特征，最終得到在圖像范圍內的點云，并且獲取了對應的圖像特征(n_reduce,4+n_channel)；

步驟3：將融合的點云圖像數據(n_reduce,4+n_channel)按照點云的(x,y,z)分布進行體素網格化，得到(L,W,H,N,4+n_channel)的體素化數據；

步驟4：對體素化數據(L,W,H,N,4+n_channel)進行篩選，去掉空的網格，將長寬高按秩序排列成一維，得到(K,N,4+n_channel)的體素化數據；

步驟5：將處理后的體素化數據(K,N,4+n_channel)輸入數據編碼網絡，得到(L,W,C)的特征圖；

步驟6：將特征圖(L,W,C)通過單階段的目標檢測網絡，最后輸出層直接輸出三維目標的(x,y,z,ry,l,w,h,s)。

優選地，所述步驟1中的圖像處理網絡為卷積神經網絡，可使用金字塔結構的特征提取結構。