[發明專利]基于空時域多維融合的道路場景他車檢測系統和方法

有效

• 申請號: 202011120818.9
• 申請日: 2020-10-19
• 公開（公告）號: CN112233097B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 高洪波;黃逸飛;李智軍;朱菊萍;何希
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/50;G06T7/246;G06T7/33;G06N3/04;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種基于空時域多維融合技術的道路場景他車檢測系統，其特征在于，包括：

數據預處理模塊：利用相機、雷達的標定參數得到投影矩陣，根據距離遠近以不同的色調，通過投影矩陣將雷達點云數據與相機圖像數據融合，形成多維融合圖像數據；

目標檢測網絡模塊：采用兩個YOLOv3模型分別對相機圖像數據和多維融合圖像數據進行檢測，標定目標車輛的檢測框，形成第一標注圖片和第二標注圖片，并利用第一標注圖片和第二標注圖片對模型進行訓練，得到第一目標檢測模型和第二目標檢測模型；

數據關聯追蹤后處理模塊：數據關聯后對目標車輛的檢測框進行跟蹤，篩選后輸出檢測結果；

所述數據關聯追蹤后處理模塊包括：

數據關聯篩選模塊：令第一目標檢測模型和第二目標檢測模型輸出的檢測框序列，進行兩兩數據關聯，篩選出高置信度的檢測框；

數據關聯追蹤模塊：分別對兩個目標檢測網絡在時間軸上相鄰幀之間的檢測框進行關聯匹配，得到被追蹤目標。

2.根據權利要求1所述的基于空時域多維融合技術的道路場景他車檢測系統，其特征在于，所述數據預處理模塊包括：

KITTI數據集預處理模塊：將KITTI目標跟蹤數據集按視頻序列分為訓練集與測試集；訓練集與測試集中忽略非車輛，保留車輛類別，用于他車檢測，將標注信息格式轉換為YOLOv3所用的格式；

圖像數據融合處理模塊：使用KITTI目標跟蹤數據集給出的雷達點云與圖像的配準關系，將雷達點云數據平移變換與相機圖像數據對齊，以點陣形式投影在相機圖像數據中，以冷暖色調表示遠近的距離信息，得到多維融合圖像數據。

3.根據權利要求1所述的基于空時域多維融合技術的道路場景他車檢測系統，其特征在于，所述目標檢測網絡模塊包括：

標定檢測框模塊：使用darknet53網絡結構對相機圖像數據和多維融合圖像數據進行特征提取，通過網格對背景前景劃分，形成預測框；

訓練檢測模型模塊：使用兩個YOLOv3模型分別依據第一標注圖片和第二標注圖片進行訓練和預測，得到第一目標檢測模型和第二目標檢測模型。

4.根據權利要求1所述的基于空時域多維融合技術的道路場景他車檢測系統，其特征在于，對使用數據關聯區分后的檢測框有選擇的進行輸出，檢測框一共有四類，第一類為在兩個目標檢測網絡所得到的檢測框關聯成功的交集；第二類為在相機圖像目標檢測網絡中經過相鄰幀的關聯算法關聯后被判定為被追蹤目標的目標檢測框；第三類為在相機圖像目標檢測網絡中經過相鄰幀關聯算法關聯后被判定為追蹤目標且上一幀與另一目標檢測網絡成功關聯的目標檢測框；第四類為在第一、第二、第三類之外的所有目標檢測框。

5.一種基于空時域多維融合技術的道路場景他車檢測方法，其特征在于，包括：

數據預處理步驟：利用相機、雷達的標定參數得到投影矩陣，根據距離遠近以不同的色調，通過投影矩陣將雷達點云數據與相機圖像數據融合，形成多維融合圖像數據；

目標檢測網絡步驟：采用兩個YOLOv3模型分別對相機圖像數據和多維融合圖像數據進行檢測，標定目標車輛的檢測框，形成第一標注圖片和第二標注圖片，并利用第一標注圖片和第二標注圖片對模型進行訓練，得到第一目標檢測模型和第二目標檢測模型；

數據關聯追蹤后處理步驟：數據關聯后對目標車輛的檢測框進行跟蹤，篩選后輸出檢測結果；

所述數據關聯追蹤后處理步驟包括：

數據關聯篩選步驟：令第一目標檢測模型和第二目標檢測模型輸出的檢測框序列，進行兩兩數據關聯，篩選出高置信度的檢測框；

數據關聯追蹤步驟：分別對兩個目標檢測網絡在時間軸上相鄰幀之間的檢測框進行關聯匹配，得到被追蹤目標。