[發明專利]一種基于多傳感器融合的3D車輛檢測方法

有效

• 申請號: 201910144580.4
• 申請日: 2019-02-27
• 公開（公告）號: CN109948661B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 蔡英鳳;張田田;王海;李祎承;劉擎超;陳小波
• 申請（專利權）人: 江蘇大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V20/70;G06V10/25;G06V10/40;G06V10/80;G06V10/766
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多傳感器融合的3D車輛檢測方法，其特征在于，包括如下步驟：

步驟1，獲得車輛的RGB圖像，及獲取車輛周圍環境的激光雷達點云信息；

步驟2，對激光雷達點云信息做預處理，根據汽車的高度，取Z軸[0，2.5]m，將激光雷達點云沿Z軸方向均等的劃分成5個高度切片；

步驟3，在激光雷達點云上生成3D車輛感興趣區域；具體步驟為：

以點云鳥瞰圖作為輸入，并在之前已生成一系列的3D候選框，將空的候選框移除掉，為剩下每個候選框的內容分配一個二進制的標簽，即正標簽表示目標車輛、負標簽表示背景，通過計算錨框和真實邊界框之間的IOU重疊大小，分配正標簽給以下兩類錨框：

1)與某個真實邊界框有最高小于0.5的IOU重疊的錨框；

2)與任意真實邊界框大于0.5的IOU交疊的錨框；

分配負標簽給與所有真實邊界框的IOU都低于0.3的錨框，其中，非正非負的錨框對訓練目標沒有任何作用，在后續處理忽略不計；

在得到上述的正標簽的錨框之后,對其進行初步3D回歸優化，假設每個3D預測框用(x,y,z,h,w,d)表示，(x,y,z)表示框的中心點，(h,w,d)表示框的尺寸；在激光雷達坐標系中，通過計算前景ROI與真實邊界框之間在中心點及尺寸的不同，即(Δx,Δy,Δz,Δh,Δw,Δd)，為之后映射到特征圖上產生的ROI進行區別和初步定位；3D錨框用(x_a,y_a,z_a,h_a,w_a,d_a)表示，3D真實邊界框用(x^*,y^*,z^*,h^*,w^*,d^*)表示，t_i表示預測框相對于3D錨框的偏移量，設其6個參數化坐標為t_i＝(t_x,t_y,t_z,t_h,t_w,t_d)，表示3D真實邊界框相對于3D錨框的偏移量，設其6個參數化坐標為則有：

t_x＝(x-x_a)/h_a?t_y＝(y-y_a)/w_a

t_z＝(z-z_a)/d_a?t_h＝log(h/h_a)

t_w＝log(w/w_a)?t_d＝log(d/d_a)

通過SmoothL1函數用于3Dbox回歸:

使用cross-entropy函數計算目標對象損失：

其中n是目標區域存在邊界框個數；

通過計算3D錨框與3D真實邊界框之間的質心與尺寸之間的差異來執行3D框回歸，最終輸出在點云中3D感興趣區域；

步驟4，分別對處理后的雷達點云和RGB圖像進行特征提取并生成相應特征圖；

步驟5，將上述的3D車輛感興趣區域分別映射到雷達點云及RGB圖像的特征圖上；

步驟6，對步驟5中映射部分特征圖進行融合，并最終實現車輛目標的3D定位與檢測。

2.根據權利要求1所述的一種基于多傳感器融合的3D車輛檢測方法，其特征在于，步驟1中，所述RGB圖像通過安裝在車輛上的攝像頭獲取；所述激光雷達點云通過位于車頂的激光雷達對周圍環境進行掃描獲取。

3.根據權利要求1所述的一種基于多傳感器融合的3D車輛檢測方法，其特征在于，步驟2中的預處理方法包括點云鳥瞰圖的處理方法，所述點云鳥瞰圖是將點云數據向地面(Z＝0)2D柵格進行投影得到。