[發明專利]基于RGB-D的三維目標檢測方法、系統及裝置

在審

• 申請號: 202010542533.8
• 申請日: 2020-06-15
• 公開（公告）號: CN111723721A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 嚴明;李中仝;林茜茜;金立標
• 申請（專利權）人: 中國傳媒大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于目標檢測技術領域，具體涉及了一種基于RGB?D的三維目標檢測方法、系統及裝置，旨在解決現有技術無法兼顧效率和3D目標檢測準確率的問題。本發明包括：對待檢測目標的2D圖像集進行特征提取，并反向映射到3D空間；將待檢測目標的3D點云數據進行體素劃分，結合2D圖像的映射體素，通過3D卷積神經網絡進行特征編碼；進行2D圖像紋理特征和3D點云數據幾何特征的聚合；通過霍夫投票網絡獲取目標特征簇集合；通過目標回歸與分類網絡獲取目標包圍框，作為三維目標檢測結果。本發明將2D圖像數據反向映射到3D空間，融合3D點云幾何特征和2D圖像紋理特征，提高了3D目標檢測的準確率，同時通過霍夫投票方法生成預選區域，保證了3D目標檢測的效率。

技術領域

本發明屬于目標檢測技術領域，具體涉及了一種基于RGB-D的三維目標檢測方法、系統及裝置。

背景技術

環境感知問題不僅是計算機視覺中的一個重要問題，更影響著自動駕駛和智能機器人產業。在環境感知問題中，面向二維圖像數據和面向三維點云數據的感知技術均取得了空前的發展。基于二維圖像的Faster-Rcnn神經網絡算法和基于三維點云數據的PointRCNN等技術廣泛地用在了工業領域上。

在三維目標檢測方面有許多常見的方法：第一種是投影法，將3D點云映射到2D圖像中，并結合圖像的特征提取技術，比較典型的方法是椎體映射法。這種方法在操作龐大的三維點云數據時，因為無法有效地在大型場景的點云數據中定位對象，因此將3D點云數據映射到2D空間上，利用成熟的2D對象檢測器，屬于多傳感器信息融合的方法[1][2]。但是隨著工業要求的日益提高，單一數據類型提供的信息量已經無法滿足精度的要求。相機傳感器是將三維世界的場景映射到二維圖像上，在映射過程中會損失對象的深度信息，并且相機傳感器會受到光線的影響，強光、逆光和不良天氣都會導致相機傳感器的精度下降。雷達點云傳感器通過掃描外部世界獲取幾何信息和深度信息，但是無法獲取紋理信息，因為點云數據的稀疏性導致較遠目標和較小目標難以表示。第二種是體素切割法，這是一種單一傳感器的方法，將點云數據按照等間距切割，整個場景被劃分成等體積的空間，每個空間中點云的數量相同，使點云數據成為規則性的數據集，以每個空間為單位使用深度學習技術為該單位的點云數據編碼，所有的空間共享神經網絡中的參數。這種方法最大的缺點是體素劃分過程中會對點云做隨機采樣，造成某些關鍵目標更加稀疏，早期也有單獨為某個體素空間的點云數據做特征編碼，但是效果并不好。第三種是RPN法，主要利用單一傳感器方法，第一階段利用3D卷積網絡為點云特征編碼，在編碼的基礎上利用RPN方法分割出前景點和背景點，并且提出一些預選框。第二階段將每個建議集合的點轉換為規范坐標，從而更好地學習局部空間特征，并與第一階段每個點的全局語義特征相結合，進行準確的box細化和置信度預測，這種方法雖然準確率足夠高，但是效率非常慢。

以下文獻是與本發明相關的技術背景資料：

[1]朱明、王佳榮，一種基于多傳感器信息融合的三維目標檢測方法及裝置，201912，CN201911269486.8.

[2]程洪、林子彧、許成鳳、趙洋，一種基于多模態深度學習的無人車目標檢測方法，201903，CN201811388553.3.

發明內容

為了解決現有技術中的上述問題，即現有技術無法兼顧效率和3D目標檢測準確率的問題，本發明提供了一種基于RGB-D的三維目標檢測方法，該三維目標檢測方法包括：

步驟S10，獲取待檢測目標的2D圖像集以及3D點云數據；

步驟S20，通過2D卷積神經網絡提取所述2D圖像集中每一個圖像的特征，獲得對應的特征圖集；

步驟S30，通過反向映射方法將所述特征圖集中每一個特征圖的特征反向映射到3D空間，獲得第一體素集合；