[發(fā)明專利]一種優(yōu)化小目標的點云三維目標檢測方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202111384556.1
• 申請日: 2021-11-22
• 公開（公告）號: CN113822244B
• 公開（公告）日: 2022-02-22
• 發(fā)明（設計）人: 馬也馳;華煒;邱奇波;張順
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06T7/73
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發(fā)明公開了一種優(yōu)化小目標的點云三維目標檢測方法和系統(tǒng)，首先采集點云數(shù)據(jù)，進行過濾后再體素化得到體素特征；構造并訓練融合神經網絡和目標檢測神經網絡，待測原始點云數(shù)據(jù)基于訓練好的融合特征神經網絡和目標檢測神經網絡進行推理測試，目標檢測神經網絡的輸出為三維目標檢測結果。其中，目標檢測神經網絡包括骨干網絡、基于Anchor Free的檢測頭和后處理。本發(fā)明采用基于Bev圖和Voxel結合的方法，保證了效率的同時，大幅度提升小目標檢測精度。

技術領域

本發(fā)明屬于目標檢測技術領域，尤其涉及一種優(yōu)化小目標的點云三維目標檢測方法和系統(tǒng)。

背景技術

目標檢測技術尤其是基于點云的三維目標檢測技術是環(huán)境感知中最重要的任務之一。現(xiàn)階段基于點云的目標檢測方法包括基于Bev圖的三維目標檢測、基于Voxel的三維目標檢測、基于3D卷積的三維目標檢測以及基于PointNet的三維目標檢測等。后兩種方法的經典方法包括《PointRCNN: 3D Object Proposal Generation and Detection fromPoint Cloud》、《PV-RCNN: Point-Voxel Feature Set Abstraction for 3D ObjectDetection》等，具有精度更高，但具有效率較低，算子復雜不容易量化部署等缺點。基于Bev圖的三維目標檢測以及基于Voxel的三維目標檢測的經典方法包括《PointPillars: FastEncoders for Object Detection from Point Clouds》、《SE-SSD: Self-EnsemblingSingle-Stage Object Detector From Point Cloud》、專利CN112731339A《一種基于激光點云的三維目標檢測系統(tǒng)及其檢測方法》、CN112288709A《一種基于點云的三維目標檢測方法》等，上述方法基于體素化的方法效率很高，基于汽車等大目標檢測精度較高，基于行人、交通錐等小目標精度較差。

發(fā)明內容

本發(fā)明的目的在于針對現(xiàn)有技術的不足，提供一種優(yōu)化小目標的點云三維目標檢測方法和系統(tǒng)。

本發(fā)明的目的是通過以下技術方案來實現(xiàn)的：一種優(yōu)化小目標的點云三維目標檢測方法，包括以下步驟：

（1）采集點云數(shù)據(jù)PC1，進行過濾得到點云數(shù)據(jù)PC2，再進行體素化得到體素特征T_pre；

（2）構造融合神經網絡，其中融合神經網絡是對每個網格的體素進行特征融合，采用尺寸為M_fusion*1的條形卷積核組成的卷積神經網絡進行特征融合，輸入為T_pre；

（3）構造目標檢測神經網絡，輸入為融合神經網絡的輸出T_fusion，輸出為三維目標檢測結果，其中目標檢測神經網絡減少下采樣算子，提高檢測頭檢測特征的分辨率，提升小目標檢測的召回率和準確率；

（4）訓練步驟（2）構造的融合特征神經網絡和步驟（3）構造的目標檢測神經網絡；

（5）基于步驟（4）訓練好的融合特征神經網絡和目標檢測神經網絡，對待測原始點云數(shù)據(jù)進行推理測試，得到最終三維目標檢測結果。

進一步地，步驟（1）包括：

（1.1）將點云數(shù)據(jù)PC1按照檢測范圍進行過濾，得到過濾后的點云數(shù)據(jù)PC2；

（1.2）將點云數(shù)據(jù)PC2先按照X、Y軸網格化，再按照Z軸分層；其中，網格化后的包圍盒矩形的形狀大小為H*W；每個網格包含K層，每層記為一個體素；每個體素內的特征包含體素內點云的均值x_v_ave、y_v_ave、z_v_ave，體素內點云相對于所在網格的密度D_grid和體素內點云的全局密度D_global；其中，x_v_ave、y_v_ave、z_v_ave為點云X、Y、Z軸坐標分別求和再除以體素內點云點的個數(shù)N_voxel；得到體素特征T_pre，形狀大小為5*K*(H*W)。

進一步地，步驟（1.2）中：