[發明專利]一種基于點融合網絡的三維物體檢測方法

在審

• 申請號: 201810081797.0
• 申請日: 2018-01-29
• 公開（公告）號: CN108171217A
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明中提出的一種基于點融合網絡的三維物體檢測方法，其主要內容包括：點云網絡、融合網絡、密集融合預測評分函數，其過程為，點云網絡模型攝取原始點云，學習每個點的空間編碼和聚合全局點云特征，將這些特征用于分類和語義分割，融合網絡將采用卷積神經網絡提取的圖像特征和點融合網絡的子網絡產生的對應點云特征作為輸入，它將這些函數組合起來并為目標對象輸出一個三維邊界框，用監督評分函數直接訓練網絡，預測點是否在目標邊界框內，而無監督評分函數能幫助網絡選擇最佳預測點。本發明可以直接學習將圖像和深度信息最優化地結合起來，避免了量化或投影等有損輸入預處理，具有一般適用性，且其準確度也大大提高。

技術領域

本發明涉及物體檢測領域，尤其是涉及了一種基于點融合網絡的三維物體檢測方法。

背景技術

三維物體的檢測和識別是計算機視覺領域的重要研究方向，而點融合是一種通用的三維物體檢測方法，其可同時利用圖像和三維點云信息。三維點云數據在工業上，尤其是在逆向工程中的應用已經越來越普及。點云數據上三維物體檢測和識別的主要應用場景在于從獲得的點云數據中識別出已有的三維物體模型。三維物體檢測技術可以應用在各種各樣的城市規劃、建設和管理項目，用于檢測城市場景中的行人、車輛、商店等；還可以通過自動檢測行人、車輛、交通標志和道路情況等輔助駕駛員駕駛車輛，甚至可以應用于未來的無人自主駕駛技術和移動機器人等領域。除此之外，在電子交通監控、工業檢測自動化、軍事偵查及醫療儀器等各個領域也有大量應用需求。而現有的三維物體檢測技術往往只適用于諸如汽車之類的物體，但不適用于行人或騎自行車等其他關鍵物體的檢測，因此不具有普遍的適用性，難以在實際中得到應用。

本發明提出了一種基于點融合網絡的三維物體檢測方法，點云網絡模型攝取原始點云，學習每個點的空間編碼和聚合全局點云特征，將這些特征用于分類和語義分割，融合網絡將采用卷積神經網絡提取的圖像特征和點融合網絡的子網絡產生的對應點云特征作為輸入，它將這些函數組合起來并為目標對象輸出一個三維邊界框，用監督評分函數直接訓練網絡，預測點是否在目標邊界框內，而無監督評分函數能幫助網絡選擇最佳預測點。本發明可以直接學習將圖像和深度信息最優化地結合起來，避免了量化或投影等有損輸入預處理，具有一般適用性，且其準確度也大大提高。

發明內容

針對現有方法不具有普適性的問題，本發明的目的在于提供一種基于點融合網絡的三維物體檢測方法，點云網絡模型攝取原始點云，學習每個點的空間編碼和聚合全局點云特征，將這些特征用于分類和語義分割，融合網絡將采用卷積神經網絡提取的圖像特征和點融合網絡的子網絡產生的對應點云特征作為輸入，它將這些函數組合起來并為目標對象輸出一個三維邊界框，用監督評分函數直接訓練網絡，預測點是否在目標邊界框內，而無監督評分函數能幫助網絡選擇最佳預測點。

為解決上述問題，本發明提供一種基于點融合網絡的三維物體檢測方法，其主要內容包括：

(一)點云網絡；

(二)融合網絡；

(三)密集融合預測評分函數。

其中，所述的點融合，有三個主要組成部分：提取點云特征的點融合網絡變體、提取圖像外觀特征的卷積神經網絡(CNN)、組合兩個特征并輸出三維邊界框的融合網絡。

其中，所述的點云網絡，首先使用對稱函數(最大池)來實現無序3D點云集的不變性處理；該模型攝取原始點云，并學習每個點的空間編碼以及聚合的全局點云特征，將這些特征用于分類和語義分割；

點融合網絡能直接處理原始點，而不需要體素化或投影的有損操作，并且與輸入點的數量成線性關系，但原始的點融合網絡公式不能用于3D回歸，因此需要進行去批量歸一化和輸入歸一化。