[發明專利]一種端到端生成建議框的自底向上的三維目標檢測方法

在審

• 申請號: 202111466037.X
• 申請日: 2021-12-03
• 公開（公告）號: CN114241225A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 張小瑞;趙紫權;孫偉;劉青山;袁曉彤
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V10/762
• 分類號: G06V10/762;G06V10/26;G06V10/44;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 趙華

本發明公開了一種端到端生成建議框的自底向上的三維目標檢測方法，屬于人工智能的目標檢測領域。首先通過Ball k?means聚類算法處理原始點云獲取聚類中心，將原始點云劃分為多個球形類簇，將每個球形類簇里邊的原始點云輸入到PointNet編碼和解碼器中，獲得輸入點的逐點級語義特征；然后Shell?based方法計算建議框幾何中心，通過前景點語義分割，得到前景掩膜，端到端的生成建議框；然后對點云區域池化，進行空間坐標轉化，經過多層感知機，與語義特征進行特征融合；對融合后的特征進行PointNet編碼；通過總損失函數，進行Shell?based分類回歸到幾何中心。

技術領域

本發明涉及一種端到端生成建議框的自底向上的三維目標檢測方法，屬于人工智能的目標檢測領域。

背景技術

自動駕駛近年來家喻戶曉，國內外學者、公司對此領域的研究熱情高漲。與傳統二維圖像的目標檢測不同的是：在自動駕駛場景中，以三維點云數據作為輸入，將標注三維物體的3D邊界框很好地分隔開。使得對三維空間中汽車、行人等目標的檢測更具現實意義。

傳統的，如二維空間中，fast-RCNN、SSD和YOLOv3，以從攝像機中獲得的二維信息作為輸入，這些網絡架構在許多圖像特征方面表現出很高的準確性。這些方法為三維目標檢測提供了很好的思路。在此之前，應用較多的還有PointNet、PointNet++等三維目標檢測方法。但這些三維目標檢測方法中，通常采用的是直接回歸幾何中心的方式。這種通過聚類中心直接回歸幾何中心效果不理想，往往需要多輪回歸才可以獲得幾何中心，收斂速度不夠快。

發明內容

針對背景技術中提到的不足，本發明提供了一種準確高效的端到端生成建議框的自底向上的三維目標檢測方法。

本發明的技術方案：

本發明提供了一種端到端生成建議框的自底向上的三維目標檢測方法，其步驟如下：

(1)通過Ball k-means聚類算法處理原始點云獲取聚類中心，將所述原始點云劃分為多個球形類簇，并且得到每一個球形類簇的聚類中心O和聚類半徑R；

(2)將每一個球形類簇里邊的原始點云輸入到PointNet編碼和解碼器中，獲得每一個輸入點的逐點級語義特征；

(3)分別通過Shell-based方法計算建議框的幾何中心，通過前景點語義分割，得到前景掩膜，端到端的生成建議框；

(4)點云區域池化操作，對于所述原始點云、前景掩膜分離出局部空間點，進行空間坐標轉化，經過多層感知機(MLP)，與所述語義特征進行特征融合；

(5)對融合后的特征進行PointNet編碼；

(6)通過總損失函數進行Shell-based分類回歸得到最終的幾何中心，預測置信度，抑制多余的三維檢測框，得到最后的三維檢測框。

進一步地，步驟(1)中，所述通過Ball k-means聚類算法處理原始點云獲取聚類中心具體包括如下步驟：

對于任意一個球形類簇C，可以用(O，R)表示，聚類中心O可以表示為：

其中N表示球形類簇C中點云個數，i表示計數器，p_i表示球形類簇C第i個任意點，R表示球形類簇的聚類半徑；

給定兩個球形類簇C_i和C_j，其聚類中心表示為O_i和O_j；R_i表示C_i的聚類半徑，如果R_i滿足以下不等式：

其中C_i和C_j分別表示為第i個和第j個相鄰球形類簇，i和j表示計數器，O_i和O_j分別表示C_i和C_j的聚類中心。