[發明專利]一種多傳感器融合的目標跟蹤方法

在審

• 申請號: 202111351723.2
• 申請日: 2021-11-12
• 公開（公告）號: CN114119659A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 羅杰;張暢;宋連
• 申請（專利權）人: 武漢理工大學重慶研究院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T7/292;G06T7/62;G06V10/44;G06V10/75;G06V10/80
• 代理公司: 武漢智嘉聯合知識產權代理事務所(普通合伙) 42231
• 代理人: 黃君軍

1.一種多傳感器融合的目標跟蹤方法，其特征在于，包括：

獲取車輛的雷達傳感數據和圖像傳感數據；

根據所述雷達傳感數據，確定雷達識別的各個第一目標對應的三維點云數據；

根據所述圖像傳感數據，確定相機識別的各個第二目標對應的二維圖像信息；

根據對雷達和相機聯合標定的變換矩陣，將所述三維點云數據投影至所述二維圖像信息，形成目標融合數據；

根據所述目標融合數據，進行目標跟蹤。

2.根據權利要求1所述的多傳感器融合的目標跟蹤方法，其特征在于，所述根據所述雷達傳感數據，確定雷達識別的各個目標對應的三維點云數據，包括：

根據所述雷達傳感數據進行聚類，檢測出每個所述第一目標的目標坐標和目標輪廓；

根據所述第一目標的所述目標坐標和所述目標輪廓，確定所述第一目標相對于雷達的位置信息和體積信息，確定對應的所述三維點云數據。

3.根據權利要求2所述的多傳感器融合的目標跟蹤方法，其特征在于，所述根據所述圖像傳感數據，確定相機識別的各個第二目標對應的二維圖像信息，包括：

將所述圖像傳感數據輸入至對應的YOLOv3網絡，檢測出每個所述第二目標的所屬類別和二維檢測框坐標；

根據不同類別的所述二維檢測框坐標，確定對應的所述二維圖像信息。

4.根據權利要求3所述的多傳感器融合的目標跟蹤方法，其特征在于，所述根據對雷達和相機聯合標定的變換矩陣，將所述三維點云數據投影至所述二維圖像信息，形成目標融合數據，包括：

以相機所在位置為圓心，建立世界坐標系；

在所述世界坐標系下，根據多組所述三維點云數據和多組所述二維圖像信息，帶入預設公式，確定所述變換矩陣；

根據所述變換矩陣，將所述三維點云數據投影至二維平面，基于所述目標坐標和所述目標輪廓，在所述二維平面上形成第一檢測框；

根據所述二維圖像信息的所述二維檢測框坐標，確定對應的第二檢測框，將所述第一檢測框和所述第二檢測框進行IOU匹配；

若匹配成功，將所述第二檢測框對應的第二目標的所屬類別賦予給所述第一檢測框對應的三維點云數據，形成所述目標融合數據。

5.根據權利要求4所述的多傳感器融合的目標跟蹤方法，其特征在于，所述根據所述目標融合數據，進行目標跟蹤，包括：

根據所述目標融合數據，確定當前時刻的檢測目標框；

根據所述當前時刻的檢測目標框，進行運動狀態估計，確定對應的下一時刻的預測目標框；

根據所述當前時刻的檢測目標框和所述下一時刻的預測目標框，確定相對應的目標軌跡；

根據馬氏距離和/或余弦距離，確定所述當前時刻的檢測目標框與所述目標軌跡的關聯程度。

6.根據權利要求5所述的多傳感器融合的目標跟蹤方法，其特征在于，所述根據所述當前時刻的檢測目標框，進行運動狀態估計，確定對應的下一時刻的預測目標框，包括：利用卡爾曼濾波，對所述當前時刻的檢測目標框進行運動狀態估計，確定對應的所述下一時刻的預測目標框。

7.根據權利要求5所述的多傳感器融合的目標跟蹤方法，其特征在于，所述根據所述當前時刻的檢測目標框和所述下一時刻的預測目標框，確定相對應的目標軌跡，包括：

對應每個所述目標軌跡，記錄上一次檢測結果與追蹤結果匹配之后的幀數；

若所述幀數大于預設閾值，則結束對所述目標軌跡的跟蹤過程；

若所述檢測目標框未匹配上對應的所述目標軌跡，且在若干未來時刻的視頻幀中都匹配成功，則判斷所述檢測目標框對應新的所述目標軌跡。

8.根據權利要求5所述的多傳感器融合的目標跟蹤方法，其特征在于，所述根據馬氏距離和/或余弦距離，確定所述當前時刻的檢測目標框與所述目標軌跡的關聯程度，包括：

根據所述檢測目標框、所述預測目標框和第一矩陣，確定距離偏差，其中，所述第一矩陣為所述檢測目標框的位置與平均追蹤位置之間的協方差矩陣；

若所述偏差距離小于第一指定閾值，則關聯成功。