[發明專利]基于圖像特征的圖像和多幀毫米波雷達目標的融合方法

有效

• 申請號: 202310077584.1
• 申請日: 2023-02-08
• 公開（公告）號: CN115810115B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 楊超;劉國清;楊廣;王啟程
• 申請（專利權）人: 深圳佑駕創新科技有限公司
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/774;G06V10/75;G06V10/80;G06V10/764;G06V10/82;G01S13/86
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 江嘉玲

本申請涉及基于圖像特征的圖像和多幀毫米波雷達目標的融合方法，包括標注圖像的目標區域；將當前時刻下的毫米波雷達目標信息與歷史時刻的毫米波雷達目標信息融合，并標注出當前時刻下毫米波雷達目標與圖像的目標區域一一對應的匹配關系；提取目標區域的中心點特征和毫米波雷達目標的雷達目標點特征；構建檢測模型，基于第一訓練標簽訓練檢測模型；利用匹配模型對中心點特征和雷達目標點特征進行特征匹配，結合第二訓練標簽對匹配模型進行監督；構建損失函數，采用優化器優化得到融合模型；將圖像和多幀毫米波雷達信息輸入融合模型中，得到圖像的目標檢測結果和與毫米波雷達目標的匹配結果。本申請具有提升匹配準確率的效果。

技術領域

本申請涉及自動駕駛技術領域，尤其是涉及基于圖像特征的圖像和多幀毫米波雷達目標的融合方法。

背景技術

自動駕駛車輛面臨的挑戰之一是復雜場景中精確的目標檢測和跟蹤。與視覺算法中的視覺傳感器相比，毫米波雷達的檢測性能受極端天氣的影響較小，此外，毫米波雷達不僅可以測量距離，還可以利用運動物體反射信號的多普勒效應測量速度矢量，并且具有穿透性，受遮擋的影響小，在遮擋情況下更具備跟蹤條件。

但是，單幀毫米波雷達的信息量較少，導致基于圖像特征的圖像和毫米波雷達目標的匹配精度較低。

發明內容

為了改善圖像和毫米波雷達目標的匹配精度，提升匹配準確率，本申請提供了基于圖像特征的圖像和多幀毫米波雷達目標的匹配方法。

第一方面，本申請提供一種基于圖像特征的圖像和多幀毫米波雷達目標的融合方法。

本申請是通過以下技術方案得以實現的：

一種基于圖像特征的圖像和多幀毫米波雷達目標的融合方法，包括以下步驟，

基于時間同步下的圖像和該時間下的毫米波雷達目標信息，將所述毫米波雷達目標投影到所述圖像上，獲得所述毫米波雷達目標在所述圖像上的投影點坐標；

標注所述圖像的目標區域，作為目標檢測的第一訓練標簽；

將當前時刻下的毫米波雷達目標信息與該時刻之前T個時刻下的毫米波雷達目標信息融合在一起，并標注出當前時刻下毫米波雷達目標與所述圖像的目標區域一一對應的匹配關系，作為特征匹配的第二訓練標簽；

基于所述圖像，分別提取所述圖像的目標區域的中心點特征和所述毫米波雷達目標的雷達目標點特征；

構建YOLOV5目標檢測模型，基于所述YOLOV5目標檢測模型檢測圖像中的目標區域，并結合所述第一訓練標簽訓練所述YOLOV5目標檢測模型，計算檢測損失；

利用匹配模型對所述中心點特征和所述雷達目標點特征進行特征匹配，得到匹配矩陣，并結合所述第二訓練標簽對所述匹配模型進行監督，計算匹配損失；

構建損失函數，并采用優化器優化YOLOV5目標檢測模型和匹配模型，直至模型收斂，得到融合模型；

將圖像和多幀毫米波雷達目標信息輸入所述融合模型中，得到圖像的目標檢測結果和與毫米波雷達目標的匹配結果。

本申請在一較佳示例中可以進一步配置為：所述構建損失函數的步驟包括，

將檢測損失和匹配損失相加，其中，所述檢測損失包括分類損失、坐標誤差損失和預測框IOU損失，則

α+β=1

其中，表示總損失，表示檢測損失，表示檢測損失平衡參數，表示匹配損失，表示匹配損失平衡參數，表示分類損失，表示坐標誤差損失，表示預測框IOU損失。

本申請在一較佳示例中可以進一步配置為：所述分類損失采用交叉熵損失，則