[發明專利]一種用于交通大場景的雷達視頻一體機的數據融合方法

在審

• 申請號: 202111132848.6
• 申請日: 2021-09-27
• 公開（公告）號: CN113627569A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 王益維;陸啟榮;王加義;楊明;張毅;卞軍;鄭劍鋒
• 申請（專利權）人: 浙江高速信息工程技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G08G1/017
• 代理公司: 杭州凱知專利代理事務所(普通合伙) 33267
• 代理人: 金國棟;孫安程

本發明涉及一種用于交通大場景的雷達視頻一體機的數據融合方法，將基于FMCW雷達體制的雷達檢測數據和采用人工神經網絡算法的視頻車輛檢測數據進行數據融合，降低系統虛警率及漏警率。本發明利用距離方位非線性伸縮匹配方法，多點中心估計定標方法，實現雙直角坐標系投影模型自適應建立，并且通過融合后數據再投影至直角坐標系實現車輛目標輪廓3D重構的目的。

技術領域

本發明涉及交通大場景雷達視頻一體機，具體是一種雷達、視頻數據融合，并對車輛輪廓反演重構的方法。

背景技術

無論在智能信號燈控制、全息路口還是車路協同等場景下，毫米波雷達與攝像機的視頻數據如何實現底層融合，有效降低車輛的漏檢率和誤檢率一直是近些年的研究重點。毫米波雷達具有目標距離、速度、方位角度等檢測能力，同時對特定入射角的目標反射能定量測試，從雷達回波散射特性上給出了目標尺寸估計。圖像處理技術提供了目標的顏色、尺寸、大小、投影輪廓等維度信息。

2020年，CN201911207876.2一種基于人工智能的雷達視頻數據融合方法提出了一種在獲取的視頻圖像及雷達監測圖像上建立坐標系，并計算坐標系內每個坐標點距離原點的距離及方位，然后再根據上述距離和方位確定兩個圖像上的目標是否為同一目標，若為同一目標則進行融合，但是沒有對融合效果進行閉環評估。2021年，CN112562405A一種雷達視頻智能融合與預警方法及系統提出了一種雷達視頻智能融合與預警方法及系統。僅簡單描述了采用最大交通流量閾值法和卡爾曼濾波器對數據進行最優估計，沒有詳細解釋數據融合方法。

在工程應用中，當大風、暴雨、重型貨車經過都會引起雷達視頻一體機所安裝的桿件發生晃動，視頻畫面抖動、畸變，使得傳統匹配融合方法難以適用。

發明內容

本發明的目的在于克服視頻畫面抖動、畸變使得傳統匹配融合方法難以適用的技術問題，提供一種用于交通大場景的雷達視頻一體機的數據融合方法及裝置、存儲介質、產品。

為了達到上述目的，本發明采用的技術方案如下：

一種用于交通大場景的雷達視頻一體機的數據融合方法，包括

步驟1：采集處理毫米波雷達數據、輸出點云數據，點云數據聚類后提取得到多目標隊形陣列；

步驟2：采集視頻數據，檢測車輛下邊沿位置，并在每一幀圖像中將每一個車輛目標的下邊沿線檢測并標注線段中心點；

步驟3：視頻圖像畸變矯正，并將矯正后的視頻圖像與雷達圖像進行結構相似性的畸變矯正吻合率評估，如果不過評估門限，以非線性卷積匹配完成多點中心估計定標，再將定標結果重新與雷達數據進行圖像畸變矯正，直至評估過門限；

步驟4：雷達大地坐標與相機坐標系雙直角坐標系進行投影，并進行坐標轉換，在視頻投影二維坐標系中實現車輛目標底層切片多級分割；

步驟5：雙源切片數據二次模糊匹配，并進行匹配率評估，若不滿足條件，重新進行地平面坐標系切片和相機投影平面切片；

步驟6：歸一化高度后重新進行雙源數據匹配，直至匹配率滿足條件。

與現有技術相比，本發明至少具有以下優點之一：

基于FMCW雷達體制的雷達檢測數據和采用人工神經網絡算法的視頻車輛檢測數據進行數據融合，使用距離方位非線性伸縮匹配方法，對雷達、視頻數據融合，并對車輛輪廓反演重構的方法，克服視頻畫面抖動、畸變，使得雷達、視頻數據融合更精確匹配，降低系統虛警率及漏警率。

附圖說明

圖1為本發明數據融合處理流程圖。

圖2位雷達檢測數據進行目標回波簇聚類流程圖。

具體實施方式

下面結合附圖對本發明的具體實施方式做進一步說明。