[發明專利]基于圖像特征的圖像和多幀毫米波雷達目標的融合方法

有效

• 申請號: 202310077584.1
• 申請日: 2023-02-08
• 公開（公告）號: CN115810115B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 楊超;劉國清;楊廣;王啟程
• 申請（專利權）人: 深圳佑駕創新科技有限公司
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/774;G06V10/75;G06V10/80;G06V10/764;G06V10/82;G01S13/86
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 江嘉玲

1.一種基于圖像特征的圖像和多幀毫米波雷達目標的融合方法，其特征在于，包括以下步驟，

基于時間同步下的圖像和該時間下的毫米波雷達目標信息，將所述毫米波雷達目標投影到所述圖像上，獲得所述毫米波雷達目標在所述圖像上的投影點坐標；

標注所述圖像的目標區域，作為目標檢測的第一訓練標簽；

將當前時刻下的毫米波雷達目標信息與該時刻之前T個時刻下的毫米波雷達目標信息融合在一起，并標注出當前時刻下毫米波雷達目標與所述圖像的目標區域一一對應的匹配關系，作為特征匹配的第二訓練標簽；

基于所述圖像，分別提取所述圖像的目標區域的中心點特征和所述毫米波雷達目標的雷達目標點特征；

構建YOLOV5目標檢測模型，基于所述YOLOV5目標檢測模型檢測圖像中的目標區域，并結合所述第一訓練標簽訓練所述YOLOV5目標檢測模型，計算檢測損失；

利用匹配模型對所述中心點特征和所述雷達目標點特征進行特征匹配，得到匹配矩陣，并結合所述第二訓練標簽對所述匹配模型進行監督，計算匹配損失；

構建損失函數，并采用優化器優化YOLOV5目標檢測模型和匹配模型，直至模型收斂，得到融合模型；所述構建損失函數的步驟包括，

將檢測損失和匹配損失相加，其中，所述檢測損失包括分類損失、坐標誤差損失和預測框IOU損失，則

α+β=1

其中，表示總損失，表示檢測損失，表示檢測損失平衡參數，表示匹配損失，表示匹配損失平衡參數，表示分類損失，表示坐標誤差損失，表示預測框IOU損失；

將圖像和多幀毫米波雷達目標信息輸入所述融合模型中，得到圖像的目標檢測結果和與毫米波雷達目標的匹配結果；

其中，所述YOLOV5目標檢測模型包含CSPdarknet53層、Neck層和Prediction層組成的網絡結構，CSPdarknet53層的輸出端連接Neck層的輸入端，Neck層的輸出端連接Prediction層的輸入端；

所述CSPdarknet53層由多個卷積層、BN層、激活層和殘差組件堆疊而成，并輸出3層多尺度的特征金字塔；

所述Neck層用于對特征金字塔進行卷積、上采樣以及連接，得到融合特征，再經過Neck層對融合特征進行卷積和下采樣以及連接，再次得到特征金字塔；

所述Prediction層通過二維卷積在每個尺度下輸出一個3維的預測張量。

2.?根據權利要求1所述的基于圖像特征的圖像和多幀毫米波雷達目標的融合方法，其特征在于，所述分類損失采用交叉熵損失。

3.根據權利要求1所述的基于圖像特征的圖像和多幀毫米波雷達目標的融合方法，其特征在于，所述坐標誤差損失采用均方誤差損失，則

式中，為樣本總數，)和)分別表示預測框的坐標點位置和標注框的坐標點位置。

4.根據權利要求1所述的基于圖像特征的圖像和多幀毫米波雷達目標的融合方法，其特征在于，所述預測框IOU損失采用C-IOU損失，則

式中，表示交并比，A為預測框，B為標注框，表示預測框和標注框中心點之間的歐氏距離,為預測框和標注框之間最小外接矩形對角線的長度，表示權重系數，用于衡量預測框和標注框相對比例的一致性，為標注框的寬，為標注框的高，為預測框的寬，為預測框的高。

5.根據權利要求1所述的基于圖像特征的圖像和多幀毫米波雷達目標的融合方法，其特征在于，所述匹配損失為經過Sinkhorn算法迭代之后的匹配矩陣的負對數似然函數；

所述匹配損失的表達式為，

其中，（M，N）表示標注的圖像和雷達點的匹配集合，N+1和M+1分別表示擴充矩陣的第N+1行和M+1列，表示第M+1列的毫米波雷達目標中圖像目標的集合，表示第N+1行的圖像目標中毫米波雷達目標的集合，表示圖像的目標區域，表示毫米波雷達目標。