[發明專利]多模態3D目標檢測方法、系統、終端及介質

在審

• 申請號: 202110263197.8
• 申請日: 2021-03-11
• 公開（公告）號: CN112990229A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 馬超
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 劉翠

本發明提供了一種多模態3D目標檢測方法及系統，分別提取原始圖像I和對應的LiDAR點云L的特征；將所述原始圖像I和對應的LiDAR點云L的特征進行點和像素的特征融合，形成LiDAR點云特征，將所述原始圖像I的特征作為圖像特征，分別生成3D區域提議和2D區域提議；分別從所述3D區域提議和2D區域提議內提取特征并進行融合，生成最終的3D目標檢測結果。同時提供了一種相應的終端及介質。本發明利用模態之間的幾何約束關系和特征關聯性完成目標檢測；通過第一階段的點?像素級別和第二階段的區域提議級別的特征融合，完成了3D目標檢測任務；利用圖像和LiDAR點云之間的幾何約束，生成高質量的區域提議。

技術領域

本發明涉及的是一種3D目標檢測方法，具體涉及的是一種基于深度網絡的多模態3D目標檢測方法、系統、終端及介質。

背景技術

目標檢測是計算機視覺領域的重要方向，并且具有廣泛的應用前景和市場價值。隨著各種傳感器技術和汽車技術的發展，3D目標檢測在自動駕駛領域中的作用開始逐漸顯現。自動駕駛中的3D目標檢測任務最普遍使用的傳感器包括相機和激光雷達，對應的數據類型分別為圖像和LiDAR點云。由于圖像和LiDAR點云這兩種模態之間信息的互補性，以及逐漸降低的激光雷達價格，所以基于多模態的3D目標檢測方法逐漸成為國內外研究的重點。

現有的基于多模態的3D目標檢測方法主要分為3類：前融合、后融合、深度融合。1.前融合：在輸入端進行的融合，通過將不同的模態進行預處理組合成一種新的表示方式；2.后融合：每個模態都被單獨和獨立地處理直到最后階段進行結果層面的融合，這種融合方案允許最后的結果來自于單獨的模塊，因此具有很大的冗余性；3.深度融合：在神經網絡中間層分層地融合不同的模態，允許來自不同模態的特征在中間層中交互信息。

然而，由于圖像和LiDAR點云在數據格式以及分布上都存在著巨大的差異，國內外專家和學者提出了眾多的算法模型融合兩種不同的模態。對于深度融合而言，大多都集中在將LiDAR點云投影到2D平面上，然后再與圖像信息進行融合。然而，在3D點云投影到2D平面的過程中，不可避免地會產生信息的損失。對于前融合或者后融合而言，融合只發生在輸入或者輸出端，沒有充分利用不同模態數據之間的關聯性和互補性。

經過檢索發現：

公開號為：CN111860666A，公開日為2020年10月30日的中國發明專利申請《一種基于點云與圖像自注意力機制融合的3D目標檢測方法》，首先，提出一種基于三維點云的多層三維特征提取方法。然后，提出一種基于圖像幾何和語義特征投票機制的二維特征提取方法。其次，提出一種幾何原則的方法，將二維特征轉換到點云的3D檢測管道中，并傳遞到點云結構。最后，提出一種多塔訓練方案，優化二維和三維特征梯度融合協同性，并根據融合結果進一步精細化調整。本發明利用相機參數將二維特征提升到三維通道，并用多塔訓練方法采用自注意力機制實現二維、三維特征有機梯度融合，克服了固有的基于三維點云稀疏數據檢測方法，充分利用圖像高分辨率和豐富紋理信息對三維目標檢測進行補充優化，來實現精確的三維目標檢測。該方法仍然存在如下技術問題：

1、該方法的輸入為RGB-D圖像，不適用于戶外場景的稀疏點云情況。

2、該方法RGB圖像候選框的提取與三維點云分支是解耦合的，同時三維點云的分類與RGB圖像之間也是解耦的，因此無法充分利用圖像與點云之間的互補信息。

公開號為CN110827202A，公開日為2020年02月21日的中國發明專利申請《目標檢測方法、裝置、計算機設備和存儲介質》，獲取點云數據以及對應的彩色圖像；對所述點云數據以及對應的所述彩色圖像進行融合得到融合數據；根據所述融合數據對所述點云數據進行補全得到補全后的點云數據；根據所述融合數據進行目標檢測得到中間目標檢測結果；從所述補全后的點云數據中，獲取所述中間目標檢測結果對應的區域的補全后的點云數據；根據所獲取的補全后的點云數據，對所述中間目標檢測結果進行結果修正得到最終目標檢測結果。該方法仍然存在如下技術問題：