[發明專利]一種基于對稱點生成的點云3D目標檢測方法

在審

• 申請號: 202011501459.1
• 申請日: 2020-12-18
• 公開（公告）號: CN112598635A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 鄒煉;范賜恩;金偉正;陳慶生;李曉鵬;李方玉
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 許蓮英

1.一種基于對稱點生成的點云3D目標檢測方法，其特征在于，包括以下步驟：

步驟1：過濾點云并體素化檢測空間，計算對稱點生成模塊的輸入即體素初始特征，生成前景點標簽，生成對稱點相對于前景點的位置偏移標簽；

步驟2：搭建對稱點生成模塊，構造對稱點生成模塊中編碼器、解碼器，為對稱點生成模塊分別添加分類頭和回歸頭，構建前景點分割任務的損失函數、對稱點預測任務的損失函數，進一步構建對稱點生成模塊的損失函數；

步驟3：通過對稱點生成模塊預測的對稱點相對于前景點的位置偏移，將預測的對稱點組成對稱點集，結合對稱點集與體素中心點集生成增強點云；

步驟4：定義區域提案網絡，構建區域提案網絡中骨干網絡，構建區域提案網絡中檢測頭，構建區域提案網絡網絡的損失函數；

步驟5：使用點云網絡訓練集進行訓練，通過步驟1的點云數據處理得到初始體素特征，接著通過步驟2的對稱點生成模塊得到前景點對應的對稱點，然后通過步驟3將非空體素中心點與對稱點組成增強點云，最后通過步驟4的區域提案網絡得到最終的物體檢測框，結合綜合點云網絡的損失函數，使用點云網絡訓練集中進行訓練得到尋優化網絡參數，用于構建訓練后點云網絡；

步驟6：將待檢測場景的點云數據輸入訓練后的點云網絡，進行3D檢測框預測，得待檢測場景中目標的3D檢測框。

2.根據權利要求1所述的基于對稱點生成的點云3D目標檢測方法，其特征在于：

步驟1所述過濾點云并體素化檢測空間為：

原始點云為：

其中，表示第i個點的坐標，分別表示第i個點的x軸坐標、y軸坐標、z軸坐標，過濾掉原始點云中不在檢測范圍內的點，所述檢測范圍為

則過濾后的點云為其中O_j表示檢測范圍空間內第j個點的坐標，分別表示檢測范圍空間內第j個點的x軸坐標、y軸坐標、z軸坐標；

之后對檢測范圍空間進行體素化，體素尺寸為w_v×l_v×h_v，w_v,l_v,h_v分別表示體素的寬長高，則體素中心點集合為：

其中，V_(k,m,n)表示x軸方向上第k個、y軸方向上第m個、z軸方向上第n個體素中心點的坐標，具體計算公式如下：

體素化后的空間分辨率為W×L×H；體素中心點集合也可以簡化表示成如下形式其中V_i表示第i個體素中心點，N₃＝W×L×H；

步驟1所述計算對稱點生成模塊的輸入即體素初始特征為：

坐標為(k,m,n)的體素的初始特征f_(k,m,n)為落在其內部的點的坐標平均值，具體計算公式如下：

其中N_(k,m,n)表示落在坐標為(k,m,n)的體素內點的數量，O_q表示落在坐標為(k,m,n)的體素內第q個的坐標，因此所述體素初始特征為：

F＝{f_(k,m,n)|k∈[1,W],m∈[1,L],n∈[1,H],k,m,n∈Z}

其中，所述F的空間分辨率也為W×L×H，其張量表示形式為[W L H 3]；

步驟1所述生成前景點標簽為：

所謂前景點就是落在3D標注框內部的體素中心點，用(p_x,p_y,p_z)表示前景點坐標，其標簽s為1，數量為N_pos；落在3D標注框內部的體素中心點被稱作背景點，其標簽s＝0；

用(x_g,y_g,z_g,w_g,l_g,h_g,θ_g)表示3D標注框，其中(x_g,y_g,z_g)表示3D標注框的中心點坐標，w_g,l_g,h_g表示3D標注框的寬長高，θ_g表示俯視視角下的旋轉角；

步驟1生成對稱點相對于前景點的位置偏移標簽為：

首先使用下面公式計算出前景點在3D標注框內的對稱點：

其中(r_x,r_y,r_z)表示前景點在3D框中的相對位置坐標；接著可以計算出對稱點的相對位置坐標(1-r_x,r_y,r_z)，最后利用下面公式計算出對稱點的位置標簽(p_x′,p_y′,p_z′)

t_x′＝(1-r_x)w-0.5,t_y′＝r_yl-0.5,p_z′＝r_zh-0.5+c_z

則對稱點相對于前景點的位置偏移標簽為ΔP＝(p_x′-p_x,p_y′-p_y)；其中公式出現的變量含義已在前述給出。