[發明專利]用于3D障礙物的檢測方法、裝置、系統及計算機存儲介質

有效

• 申請號: 201910127900.5
• 申請日: 2019-02-20
• 公開（公告）號: CN109948448B
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 杜新新
• 申請（專利權）人: 蘇州風圖智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 徐偉

本發明提供了用于3D障礙物的檢測方法、裝置、系統及計算機存儲介質。該檢測方法，包括：對2D圖像執行2D障礙物識別以獲得2D圖像中障礙物的2D邊界框；對每個2D邊界框在3D點云中對應的每個3D點云子集執行幾何分析以確定障礙物的3D邊界框；對各個3D邊界框所含的點云數據執行特征計算以提取每一3D邊界框所對應的3D特征向量；對每個3D邊界框在2D圖像中對應的每個2D圖像區執行特征提取以生成各2D圖像區所對應的2D特征向量；將各個3D邊界框和對應2D圖像區的相應3D特征向量和2D特征向量融合以生成融合特征向量；以及基于融合特征向量執行3D障礙物識別以獲得各3D邊界框的分類信息。

技術領域

本發明涉及障礙物檢測技術，尤其涉及一種用于3D障礙物的檢測方法、一種用于3D障礙物的檢測裝置、一種用于3D障礙物的檢測系統，以及一種計算機存儲介質。

背景技術

現有的障礙物檢測技術主要基于攝像頭來進行2D障礙物檢測，或者單純地基于3D激光雷達進行3D障礙物檢測。

在自動駕駛車輛的應用中，2D邊界框只能為規劃單元和決策單元提供有限的信息，然而對于自動駕駛車輛來說，還需要包括車輛尺寸、行駛方向，以及其他車輛與自車的相對位置等詳細和準確的車輛3D信息，以進行決策制定。

攝像機和激光雷達(Light Detection and Ranging，LiDAR)掃描儀是自動駕駛車輛感測系統中最常用的兩種傳感器。由于透視失真，僅使用攝像機無法獲取自動駕駛車輛系統需要使用的準確3D信息。即使采用立體攝像系統，所獲取圖像的景深估算仍然無法達到令人滿意的性能水平。

常見的64光束激光雷達每次掃描可以輕松生成超過100000個點，以獲取準確的3D信息。然而隨著檢測空間的擴大，所需激光雷達點云的規模和分辨率會呈三次方增長。由于存儲器和計算時間的限制，通過整個點云徹底應用搜索算法或卷積運算是不可行的，追蹤準確率受到極大限制，從而導致漏檢誤檢。因此，處理激光雷達點云的主要挑戰在于減少計算負擔的同時，保持3D空間圖案和信息的準確。

綜上，本領域亟需一種能夠高效地獲取高質量的3D空間圖案和信息的障礙物檢測技術，以提高自動駕駛車輛的障礙物檢測效率和準確率。

發明內容

以下給出一個或多個方面的簡要概述以提供對這些方面的基本理解。此概述不是所有構想到的方面的詳盡綜覽，并且既非旨在指認出所有方面的關鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡化形式給出一個或多個方面的一些概念以為稍后給出的更加詳細的描述之序。

為了能夠高效地獲取高質量的3D空間圖案和信息，以提高自動駕駛車輛的障礙物檢測效率和準確率，本發明提供了一種用于3D障礙物的檢測方法、一種用于3D障礙物的檢測裝置、一種用于3D障礙物的檢測系統，以及一種計算機存儲介質。

本發明提供的上述用于3D障礙物的檢測方法，用于基于3D點云和2D圖像執行3D障礙物檢測，該檢測方法包括：

對所述2D圖像執行2D障礙物識別以獲得所述2D圖像中至少一個潛在障礙物的2D邊界框；

對每個2D邊界框在所述3D點云中對應的每個3D點云子集執行幾何分析以確定多個潛在障礙物的3D邊界框；

對各個3D邊界框所含的點云數據執行特征計算以提取每一3D邊界框所對應的3D特征向量；

對每個3D邊界框在所述2D圖像中對應的每個2D圖像區執行特征提取以生成各2D圖像區所對應的2D特征向量；

將各個3D邊界框和對應2D圖像區的相應3D特征向量和2D特征向量融合以生成融合特征向量；以及

基于所述融合特征向量執行3D障礙物識別以獲得各3D邊界框的分類信息。