[發明專利]基于毫米波雷達先驗定位和視覺特征融合的目標檢測方法

有效

• 申請號: 202011520256.7
• 申請日: 2020-12-21
• 公開（公告）號: CN112560972B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 王云鵬;張新鈺;于海洋;任毅龍;劉天賜;孫韌韜
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G01S13/86;G06N3/04;G06N3/08;G06T7/11;G06T7/90
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 陳琳琳;楊青

1.一種基于毫米波雷達先驗定位和視覺特征融合的目標檢測方法，所述方法包括：

基于標定后的毫米波雷達和車載相機，同時獲取毫米波雷達點云數據和相機圖像；將毫米波雷達點云數據進行空間三維坐標變換以投影到相機平面；

基于投影后的毫米波雷達點云數據，根據預先設定的anchor策略生成多個anchor樣本，基于每個候選區域的速度距離權重獲得最終的anchor樣本；

通過將相機圖像的RGB信息和毫米波雷達點云數據的散射截面強度信息進行融合，獲取最終的樣本的特征；

將最終的anchor樣本的特征輸入檢測網絡，生成場景下目標的類別和位置信息；

所述基于投影后的毫米波雷達點云數據，根據預先設定的anchor策略生成多個anchor樣本，基于每個候選區域的速度距離權重獲得最終的anchor樣本；具體包括：

將投影后的毫米波雷達點云數據作為位置先驗，即作為anchor生成點，一個anchor生成點生成M組基礎anchor，每組基礎anchor包括N個預先設定大小和寬高比的anchor樣本；則一個anchor生成點生成M×N個anchor樣本；

分別提取每個anchor樣本的毫米波雷達點云數據的速度信息和距離信息，計算每個候選區域的速度距離權重W：

其中，α和β均為權重系數，α取毫米波雷達測距的最大有效范圍的最大值，β值根據道路上車輛的速度來確定，使得最終權重W∈(0,1)；n是一個候選區域中含有的點云個數，Velocity為毫米波雷達點云數據中的速度信息，Distance為毫米波雷達點云數據中的距離信息；

使用速度距離權重綜合對anchor樣本進行縮放和派生操作，得到最終的anchor樣本。

2.根據權利要求1所述的基于毫米波雷達先驗定位和視覺特征融合的目標檢測方法，其特征在于，所述通過將相機圖像的RGB信息和毫米波雷達點云數據的散射截面強度信息進行融合，獲取最終的anchor樣本的特征，具體包括：

相機圖像RGB信息用(R,G,B)表示，使用Min-Max標準化方法進行數據標準化，得到標準化后的圖像信息(R',G',B')；毫米波雷達點云數據中的散射截面強度信息用RCS表示；將RCS作為第四通道信息與圖像RGB三通道信息進行融合，得到四通道的信息(R',G',B',RCS)；

使用RestNet50作為特征提取網絡，將四通道的信息輸入預先訓練好的特征提取網絡，輸出原始圖像的四通道的信息的特征；

將最終的anchor樣本的區域與原始圖像的四通道的信息的特征進行區域對應，獲取最終的anchor樣本的特征。

3.根據權利要求2所述的基于毫米波雷達先驗定位和視覺特征融合的目標檢測方法，其特征在于，所述方法還包括：特征提取網絡的訓練步驟；具體包括：

將已經標注好的毫米波雷達點云數據和相機圖像制作成Dataset數據集；

初始學習率lr設置為0.001，使用余弦退火策略進行學習率的更新；每次更新參數使用的批量值b＝64，迭代訓練次數為epoch＝300；

損失函數采用交叉熵損失函數；采用梯度下降法調整參數，直至特征提取網絡收斂。

4.根據權利要求3所述的基于毫米波雷達先驗定位和視覺特征融合的目標檢測方法，其特征在于，所述檢測網絡采用的是Faster-RCNN網絡的形式，包括：定位子網絡和回歸子網絡，定位子網絡用于對目標進行定位；回歸子網絡用于對目標進行分類。

5.一種計算機設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1-4任一項所述的方法。

6.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時使所述處理器執行權利要求1-4任一項所述的方法。