[發(fā)明專利]一種基于對稱點生成的點云3D目標檢測方法

在審

• 申請?zhí)枺?/td>: 202011501459.1
• 申請日: 2020-12-18
• 公開（公告）號: CN112598635A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設計）人: 鄒煉;范賜恩;金偉正;陳慶生;李曉鵬;李方玉
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 武漢科皓知識產(chǎn)權代理事務所(特殊普通合伙) 42222
• 代理人: 許蓮英

本發(fā)明涉及一種基于對稱點生成的點云3D目標檢測方法。本發(fā)明首先對原始點云進行過濾并體素化檢測空間，生成初始體素特征輸入到對稱點生成模塊，通過其編解碼結構獲得高層語義特征并經(jīng)過分類頭和回歸頭進行前景點分割以及對稱點預測，將預測的前景點對應的對稱點集與非空體素中心點集組成增強點云作為區(qū)域提案網(wǎng)絡的輸入，通過其骨干網(wǎng)絡進一步提取俯視圖特征，并作為檢測頭的輸入，檢測頭最終輸出待檢測物體的3D框。本發(fā)明利用檢測對象的對稱性，生成對稱點，從根本上緩解了點云中物體結構缺失的問題，能夠改善回歸效果并提高檢測精度，同時支持將RPN替換成其他基于體素的檢測方法，使得原來檢測效果較差的檢測器也能產(chǎn)生具有競爭力的檢測結果。

技術領域

本發(fā)明涉及自動駕駛、3D目標檢測技術領域，具體地涉及一種基于對稱點 生成的3D目標檢測算法。

背景技術

三維目標檢測由于其在自主駕駛、機器人等領域的廣泛應用，越來越受到工 業(yè)界和學術界的關注。激光雷達傳感器廣泛應用于自動駕駛車輛和機器人中，以 點云形式捕捉三維場景信息，為三維場景的感知和理解提供重要信息。由于點云 可以保留物體的原始尺寸，所以不存在物體在圖像中分辨率太低問題，而且即使 在夜晚，激光雷達也能正常工作。因此，在點云場景下進行物體檢測成為3D目 標檢測的熱點。當前，3D目標檢測方法主要分為兩類，一種類基于圖像的檢測 方法，比如chen等人提出的面向自主駕駛的單目三維目標檢測(Monocular 3D Object Detection for Autonomous Driving)。該方法將單目中的3D物體檢測 問題看作兩步完成：首先該方法提出了一個生成一組類相關的物體推薦候選框的 方法，然后利用一個CNN網(wǎng)絡利用這組候選框提取出高質(zhì)量的3D物體檢測框， 是單目3D目標檢測的開山之作。但是這類方法往往需要一系列假設條件，比如 所有的物體底部都與地平面相接等，在實際檢測中效果并不是很好。另一種是基 于點云的檢測方法，根據(jù)從點云提取特征方式的不同具體又可以劃分為基于點的 方法和基于體素的方法。基于點的方法使用PointNet和其變體從原始點云中提 取逐點的特征，而基于體素的方法則是將整個3D空間劃分成體素柵格，并使用 規(guī)則的3D卷積神經(jīng)網(wǎng)絡提取體素特征。這類方法取得了很好的檢測效果，但是 也還存在一些問題。由于獲取的點云稀疏且不規(guī)則，距離激光雷達較遠的和被嚴 重遮擋的物體往往只含有少量的點，會缺失很多結構信息，導致這類物體的檢測 精度較低。因此，人們開始研究如何在稀疏的點云里獲得更多目標的結構信息去 進行3D目標檢測。本發(fā)明屬于基于體素的檢測方法，我們提出的是一種利用目 標結構先驗信息來補全目標在點云中缺失的對稱部分的方法。將補全的對稱部分 和原始點云組成增強點云，作為檢測網(wǎng)絡的輸入，可以從根本上緩解一些物體在 點云中結構信息缺失較多問題。我們的方法不僅可以用于自動化駕駛領域汽車的 檢測，而且適用于在點云場景下各種具有對稱性的物體的檢測。

現(xiàn)有已有一些關于3D目標檢測的專利(包括發(fā)明授權專利和發(fā)明公布專利) 如下：

申請公布號為：CN110070025A的中國發(fā)明專利《基于單目圖像的三維目標 檢測系統(tǒng)及方法》。此方法的思想是將三維目標檢測轉(zhuǎn)換到二維圖像下的預測， 然后應用攝像頭標定參數(shù)將二維映射到攝像頭三維坐標系下，重構出目標的三維 目標框，通過對映射出的三維目標框進行進一步修正，得到精確的三維目標框， 經(jīng)兩步法訓練后進行精確三維目標檢測。雖然這種方法成本較低，具有一定的應 用價值，但是此方法精度較低，不適合要求高的場景。

申請公布號為：CN111079652A的中國發(fā)明專利《一種基于點云數(shù)據(jù)簡易編 碼的3D目標檢測方法》。此方法提出了一種點云數(shù)據(jù)的簡易編碼方式，該方法將 點云數(shù)據(jù)柵格化，然后通過計算單個柵格內(nèi)的幾何信息和密度信息完成對單個柵 格內(nèi)點集的編碼，通過特征拼接和M×N卷積的方式，進行高效的特征降維，最 終構建基于點云數(shù)據(jù)的可應用于卷積神經(jīng)網(wǎng)絡的二維特征圖，最后采用一套多尺 度卷積的特征提取網(wǎng)絡進行特征提取和3D目標檢測。所述方法能夠高效地將3D 特征圖降維為2D特征圖，從而可以應用于不同2D卷積神經(jīng)網(wǎng)絡進行特征提取和 3D目標檢測，但是這種方法也因使用2D卷積從而不能很好地提取魯棒的3D物 體特征。