[發明專利]一種優化小目標的點云三維目標檢測方法和系統

有效

• 申請號: 202111384556.1
• 申請日: 2021-11-22
• 公開（公告）號: CN113822244B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 馬也馳;華煒;邱奇波;張順
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06T7/73
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種優化小目標的點云三維目標檢測方法，其特征在于，包括以下步驟：

（1）采集點云數據PC1，進行過濾得到點云數據PC2，再進行體素化得到體素特征T_pre；

（2）構造融合神經網絡，其中融合神經網絡是對每個網格的體素進行特征融合，采用尺寸為M_fusion*1的條形卷積核組成的卷積神經網絡進行特征融合，輸入為T_pre；所述融合神經網絡由卷積核尺寸為M_fusion*1的一系列卷積層和一個形狀大小為K*1的池化層組成；融合神經網絡的輸出為形狀大小為C_fusion*H*W的特征向量T_fusion；其中，C_fusion為預設的特征通道數；

（3）構造目標檢測神經網絡，輸入為融合神經網絡的輸出T_fusion，輸出為三維目標檢測結果，其中目標檢測神經網絡減少下采樣算子，提高檢測頭檢測特征的分辨率，提升小目標檢測的召回率和準確率；所述目標檢測神經網絡包括骨干網絡、檢測頭和后處理；

骨干網絡的第一層是形狀大小為C_fusion*H_f1*W_f1*C_f1的卷積核；其中，H_f1、W_f1、C_f1分別為卷積核的長、寬和輸出通道數；骨干網絡中的下采樣倍數為1倍或者2倍；

檢測頭的輸出包含目標的中心點坐標center_u,center_v、目標中心點偏移量center_u_offset,center_v_offset、目標的長寬高l,w,h、目標中心點在C1坐標系下的Z軸坐標center_z、目標航向角yaw的正余弦值sin_yaw,cos_yaw；其中，目標航向角yaw為目標朝向與C1坐標系的X軸的夾角，其中C1坐標系為以相對于大地的固定預設坐標原點的笛卡爾正交坐標系；

T_fusion輸入目標檢測神經網絡，經過骨干網絡、3D檢測頭和后處理，得到K_detec*9的特征張量T_detec，作為三維目標檢測結果；其中，K_detec為目標檢測置信度超過預設閾值的目標的個數；9為目標三維信息的特征的長度；目標三維信息的特征包括目標中心點的X,Y,Z軸坐標、目標的長寬高、目標的航向角、目標的類別以及目標的置信度分數；

（4）訓練步驟（2）構造的融合特征神經網絡和步驟（3）構造的目標檢測神經網絡；

（5）基于步驟（4）訓練好的融合特征神經網絡和目標檢測神經網絡，對待測原始點云數據進行推理測試，得到最終三維目標檢測結果。

2.如權利要求1所述優化小目標的點云三維目標檢測方法，其特征在于，步驟（1）包括：

（1.1）將點云數據PC1按照檢測范圍進行過濾，得到過濾后的點云數據PC2；

（1.2）將點云數據PC2先按照X、Y軸網格化，再按照Z軸分層；其中，網格化后的包圍盒矩形的形狀大小為H*W；每個網格包含K層，每層記為一個體素；每個體素內的特征包含體素內點云的均值x_v_ave、y_v_ave、z_v_ave，體素內點云相對于所在網格的密度D_grid和體素內點云的全局密度D_global；其中，x_v_ave、y_v_ave、z_v_ave為點云X、Y、Z軸坐標分別求和再除以體素內點云點的個數N_voxel；得到體素特征T_pre，形狀大小為5*K*(H*W)。

3.如權利要求2所述優化小目標的點云三維目標檢測方法，其特征在于，步驟（1.2）中：

D_grid= Min( F_M(N_voxel+ 1) / F_M(N_grid)， 1)

D_global= Min( F_M(N_voxel+ 1) / F_M(N_laser)， 1)

其中，N_grid為網格內點云點的個數，F_M( )為單調正函數；N_laser為采集點云數據的傳感器的線數。

4.如權利要求1所述優化小目標的點云三維目標檢測方法，其特征在于，目標檢測神經網絡的檢測頭為基于Anchor Free的檢測頭。