[發明專利]一種基于關鍵點點云局部特征的三維目標檢測方法

在審

• 申請號: 202310334824.1
• 申請日: 2023-03-31
• 公開（公告）號: CN116403206A
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 楊慶華;倪金虎;童彥
• 申請（專利權）人: 上海大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/44;G06V10/80;G06V10/26;G06V10/764;G06V10/82
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 張寧展

一種基于關鍵點點云局部特征的三維目標檢測方法，包括：獲取當前時刻待檢測的點云數據；將獲取的點云數據輸入到訓練好的多維特征融合的特征編碼網中，得到目標檢測結果，所述多維特征融合的特征編碼網對訓練樣本中點云數據進行關鍵點采樣和特征編碼，得到關鍵點點云局部特征，具體獲取N個原始點云數據；通過空間距離最遠點采樣法，從N個點中采樣N’/3個點，作為關鍵點；通過特征距離最遠點采樣法，從N個點中采樣N’/3個點；從N個點中采樣N’/3個點；S5.通過點集抽象模塊進行特征提取，生成關鍵點點云局部特征。本發明關使提取的物體的局部特征更準確，更能表達物體的語義信息，使用此特征進行后續的物體檢測和物體的分類更準確。

技術領域

本發明屬于計算機視覺技術領域，具體是一種基于關鍵點點云局部特征的三維目標檢測方法。

背景技術

三維目標檢測中常用的有兩種方法，基于點的方法和基于體素的方法。基于點的方法：這種方法將三維點云數據看作一系列散點，直接對每個點進行處理。其優點在于具有較高的幾何靈活性和可擴展性，同時也能夠準確地捕捉點云數據的細節和局部特征。但是，由于點云數據的稀疏性和無序性，基于點的方法在處理大型場景時會存在效率和準確度方面的問題。這方面代表性的研究有PointNet和PointNet++。FPointNet首先提出將PointNet應用于基于2D圖像邊界框的裁剪點云的3D檢測。PointRCNN直接從整個點云生成3D候選框，而不是僅使用點云進行3D檢測的2D圖像。

基于體素的方法：這種方法將三維點云數據劃分為一系列規則的體素(即三維像素)，然后對每個體素進行處理。相比于基于點的方法，基于體素的方法具有更高的計算效率和穩定性，且容易集成卷積神經網絡(CNN)等深度學習技術。但是，基于體素的方法也存在著數據維度較高、信息損失嚴重等問題。相關研究有VoxelNet和SECOND算法。

現有近似方案中，基于點的關鍵點采樣和點集特征提取方法，主要是PointNet++的最遠點采樣算法進行關鍵點采樣，獲得均勻的全局關鍵點，然后經過特征抽象層進行特征提取。PointNet++和PointRCNN使用集合抽象層(SA)進行下采樣得到關鍵點以獲得更高的效率和擴大感受野，得到關鍵點鄰域的局部特征。集合抽象層利用最遠點采樣算法來進行降采樣獲得關鍵點的子集作為下采樣的代表點。但是這種抽樣方法只考慮了點之間的相對位置，由于我們所感興趣的點數量沒有背景點數量那么巨大，且由于激光雷達點云的不均勻性，近處的點稠密，遠處稀疏，遠處物體上可能只有幾個點。這樣再用這種方法，被采樣到的關鍵點實際上是背景點，遠處物體的點就被過濾掉了，使它們不會被檢測到。大多數現有方法在下采樣過程中應用特征傳播層(FP)來召回那些被放棄的有用點，但它們必須付出更長的推理時間的計算開銷。

發明內容

針對上述現有技術的缺點，本發明提出一種基于關鍵點點云局部特征的三維目標檢測方法，通過采樣空間距離的最遠點、特征距離的最遠點，以及點到中心的距離，三種采樣方式獲得各三分之一關鍵點，并通過多維特征融合生成最終的關鍵點點云。

本發明的技術解決方案如下：

一種基于關鍵點點云局部特征的三維目標檢測方法，包括：獲取當前時刻待檢測的點云數據；將獲取的點云數據輸入到訓練好的多維特征融合的特征編碼網中，得到目標檢測結果，其特點在于，所述多維特征融合的特征編碼網對訓練樣本中點云數據進行關鍵點采樣和特征編碼，得到關鍵點點云局部特征，具體步驟如下：

S1.獲取N個原始點云數據；

S2.通過空間距離最遠點采樣法，從N個點中采樣N’/3個點，作為關鍵點；

S3.通過特征距離最遠點采樣法，從N個點中采樣N’/3個點，作為關鍵點；

S4.將點云坐標系轉換為以激光雷達為原點的坐標系，計算逐點距離坐標原點的相對距離，根據點到坐標原點的距離設置不同的采樣概率，點被隨機采樣的概率與點到原點的距離成正比，從N個點中采樣N’/3個點；