[發明專利]基于毫米波雷達先驗定位和視覺特征融合的目標檢測方法

有效

• 申請號: 202011520256.7
• 申請日: 2020-12-21
• 公開（公告）號: CN112560972B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 王云鵬;張新鈺;于海洋;任毅龍;劉天賜;孫韌韜
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G01S13/86;G06N3/04;G06N3/08;G06T7/11;G06T7/90
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 陳琳琳;楊青

本發明公開了基于毫米波雷達先驗定位和視覺特征融合的目標檢測方法，所述方法包括：基于標定后的毫米波雷達和車載相機，同時獲取毫米波雷達點云數據和相機圖像；將毫米波雷達點云數據進行空間三維坐標變換以投影到相機平面；基于投影后的毫米波雷達點云數據，根據預先設定的anchor策略生成多個anchor樣本，基于每個候選區域的速度距離權重獲得最終的anchor樣本；通過將相機圖像的RGB信息和毫米波雷達點云數據的散射截面強度信息進行融合，獲取最終的樣本的特征；將最終的anchor樣本的特征輸入檢測網絡，生成場景下目標的類別和位置的信息。本發明的方法充分利用毫米波雷達返回信息的特性對現有的檢測框架進行優化，提高了全天候場景下路上目標檢測的準確性。

技術領域

本發明涉及自動駕駛技術領域，具體涉及基于毫米波雷達先驗定位和視覺特征融合的目標檢測方法。

背景技術

道路場景下的目標檢測是實現車輛自動駕駛感知的關鍵技術環節，以確保車輛行駛感知系統確定車周環境，避免與其他車輛、行人等目標發生碰撞，并且提前預知輔助決策系統的執行，實現車輛在車道上的安全自動駕駛。

自動駕駛感知系統識別周圍的目標，可以通過提取相機獲取的視覺圖像的特征，用于識別當前場景下的目標，這與人類通過視覺系統的感知非常相似，可視環境良好環境下的目標，對于人來說比較容易，對于車輛也是如此。不過在強光、大霧、夜間等可視環境不好的場景下，人類視覺獲取信息變得有限，車輛的感知系統也很難單純依靠視覺信息來做出正確的識別判斷。而要實現自動駕駛，必須實現在全天候場景下道路目標的準確檢測。于是很多方法開始應用其他信息(如激光雷達，毫米波雷達，熱成像儀等)來增強感知系統的識別能力。

毫米波雷達利用多普勒效應計算物體相對于車輛的徑向速度，毫米波雷達點云不受可見光環境的影響，對不同材質的目標有一定區分度，且包含有空間信息。因此利用毫米波雷達反饋的距離和速度信息來輔助判斷障礙物，提高自動駕駛車輛的避障能力，這已經應用廣泛。但是毫米波雷達點云非常稀疏，其中的噪聲會對障礙判斷產生很大影響。

在復雜場景下，針對單純使用車載相機或毫米波雷達檢測道路目標準確率低的問題，一種新穎的思路是融合傳感器的多類信息，提高對車輛周邊道路環境的感知能力。而大多數這類方法往往不加區分的將毫米波雷達反饋的信息(雷達散射截面強度，徑向速度，距離等)和車載相機的視覺信息直接進行特征融合，沒有充分利用兩種傳感器數據之間信息的互補作用。經過觀察和實驗分析，雷達散射截面強度是有目標材料有一定的關聯性的，所以是類別相關的一種屬性，距離和速度是類別無關的屬性，是空間相關的屬性，所以將不同的信息以不同的方式有效的融合才能更加全面的利用多傳感器的信息實現更加魯棒的檢測。

發明內容

本發明的目的在于克服現有技術的不足，提出了一種充分利用毫米波雷達多種信息與視覺多方式融合的目標檢測方法，該方法的主要特點是融合毫米波雷達點云和相機圖像進行目標檢測，將毫米波點云作為圖像空間信息的補充和語義特征的增強，用圖像彌補點云采樣密度低的缺陷，用融合信息增強視覺信息在雨、霧天氣、夜間等復雜道路場景下目標檢測算法的魯棒性。

為實現上述目的，本發明的實施例1提出了一種基于毫米波雷達先驗定位和視覺特征融合的目標檢測方法，所述方法包括：

基于標定后的毫米波雷達和車載相機，同時獲取毫米波雷達點云數據和相機圖像；將毫米波雷達點云數據進行空間三維坐標變換以投影到相機平面；

基于投影后的毫米波雷達點云數據，根據預先設定的anchor策略生成多個anchor樣本，基于每個候選區域的速度距離權重獲得最終的anchor樣本；

通過將相機圖像的RGB信息和毫米波雷達點云數據的散射截面強度信息進行融合，獲取最終的樣本的特征；

將最終的anchor樣本的特征輸入檢測網絡，生成場景下目標的種類和定位的信息。