[發(fā)明專利]一種多傳感器融合的目標(biāo)跟蹤方法

在審

• 申請?zhí)枺?/td>: 202111351723.2
• 申請日: 2021-11-12
• 公開（公告）號: CN114119659A
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 羅杰;張暢;宋連
• 申請（專利權(quán)）人: 武漢理工大學(xué)重慶研究院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T7/292;G06T7/62;G06V10/44;G06V10/75;G06V10/80
• 代理公司: 武漢智嘉聯(lián)合知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 42231
• 代理人: 黃君軍

本發(fā)明涉及一種多傳感器融合的目標(biāo)跟蹤方法，該方法包括：獲取車輛的雷達(dá)傳感數(shù)據(jù)和圖像傳感數(shù)據(jù)；根據(jù)所述雷達(dá)傳感數(shù)據(jù)，確定雷達(dá)識別的各個第一目標(biāo)對應(yīng)的三維點(diǎn)云數(shù)據(jù)；根據(jù)所述圖像傳感數(shù)據(jù)，確定相機(jī)識別的各個第二目標(biāo)對應(yīng)的二維圖像信息；根據(jù)對雷達(dá)和相機(jī)聯(lián)合標(biāo)定的變換矩陣，將所述三維點(diǎn)云數(shù)據(jù)投影至所述二維圖像信息，形成目標(biāo)融合數(shù)據(jù)；根據(jù)所述目標(biāo)融合數(shù)據(jù)，進(jìn)行目標(biāo)跟蹤。本發(fā)明結(jié)合純視覺方案和純雷達(dá)方案的優(yōu)點(diǎn)，保證汽車的行為決策、路徑規(guī)劃以及障礙物避障的精度。

技術(shù)領(lǐng)域

本發(fā)明涉及自動駕駛技術(shù)領(lǐng)域，尤其涉及一種多傳感器融合的目標(biāo)跟蹤方法。

背景技術(shù)

隨著人工智能和汽車信息化的飛速發(fā)展，無人駕駛技術(shù)成為了提高交通通行效率解決城市交通堵塞以及減少交通事故的一項(xiàng)重要技術(shù)，是全世界汽車行業(yè)的一個研究重點(diǎn)，其中環(huán)境感知技術(shù)更是無人駕駛技術(shù)的基礎(chǔ)，是保證汽車安全行駛的關(guān)鍵。它能夠幫助車輛實(shí)時的獲取周圍的環(huán)境信息，為接下來汽車的控制決策、避障以及路徑規(guī)劃提供幫助。傳統(tǒng)的依靠純視覺或純雷達(dá)方案的汽車都存在著一些問題，純視覺方案雖然可以得到物體的精確類別、紋理等特征但無法得到物體的三維坐標(biāo)，幾何形狀等信息且受光照的影響嚴(yán)重，純雷達(dá)方案相比純視覺方案能夠獲取物體的精確三維坐標(biāo)、不受光照影響但探測距離近、易受雨雪等天氣的影響。因此，如何實(shí)現(xiàn)車輛駕駛過程中更精確的目標(biāo)檢測是亟待解決的問題。

發(fā)明內(nèi)容

有鑒于此，有必要提供一種多傳感器融合的目標(biāo)跟蹤方法，用以克服現(xiàn)有技術(shù)中目標(biāo)檢測不夠準(zhǔn)確的問題。

本發(fā)明提供一種多傳感器融合的目標(biāo)跟蹤方法，包括：

獲取車輛的雷達(dá)傳感數(shù)據(jù)和圖像傳感數(shù)據(jù)；

根據(jù)所述雷達(dá)傳感數(shù)據(jù)，確定雷達(dá)識別的各個第一目標(biāo)對應(yīng)的三維點(diǎn)云數(shù)據(jù)；

根據(jù)所述圖像傳感數(shù)據(jù)，確定相機(jī)識別的各個第二目標(biāo)對應(yīng)的二維圖像信息；

根據(jù)對雷達(dá)和相機(jī)聯(lián)合標(biāo)定的變換矩陣，將所述三維點(diǎn)云數(shù)據(jù)投影至所述二維圖像信息，形成目標(biāo)融合數(shù)據(jù)；

根據(jù)所述目標(biāo)融合數(shù)據(jù)，進(jìn)行目標(biāo)跟蹤。

進(jìn)一步地，所述根據(jù)所述雷達(dá)傳感數(shù)據(jù)，確定雷達(dá)識別的各個目標(biāo)對應(yīng)的三維點(diǎn)云數(shù)據(jù)，包括：

根據(jù)所述雷達(dá)傳感數(shù)據(jù)進(jìn)行聚類，檢測出每個所述第一目標(biāo)的目標(biāo)坐標(biāo)和目標(biāo)輪廓；

根據(jù)所述第一目標(biāo)的所述目標(biāo)坐標(biāo)和所述目標(biāo)輪廓，確定所述第一目標(biāo)相對于雷達(dá)的位置信息和體積信息，確定對應(yīng)的所述三維點(diǎn)云數(shù)據(jù)。

進(jìn)一步地，所述根據(jù)所述圖像傳感數(shù)據(jù)，確定相機(jī)識別的各個第二目標(biāo)對應(yīng)的二維圖像信息，包括：

將所述圖像傳感數(shù)據(jù)輸入至對應(yīng)的YOLOv3網(wǎng)絡(luò)，檢測出每個所述第二目標(biāo)的所屬類別和二維檢測框坐標(biāo)；

根據(jù)不同類別的所述二維檢測框坐標(biāo)，確定對應(yīng)的所述二維圖像信息。

進(jìn)一步地，所述根據(jù)對雷達(dá)和相機(jī)聯(lián)合標(biāo)定的變換矩陣，將所述三維點(diǎn)云數(shù)據(jù)投影至所述二維圖像信息，形成目標(biāo)融合數(shù)據(jù)，包括：

以相機(jī)所在位置為圓心，建立世界坐標(biāo)系；

在所述世界坐標(biāo)系下，根據(jù)多組所述三維點(diǎn)云數(shù)據(jù)和多組所述二維圖像信息，帶入預(yù)設(shè)公式，確定所述變換矩陣；

根據(jù)所述變換矩陣，將所述三維點(diǎn)云數(shù)據(jù)投影至二維平面，基于所述目標(biāo)坐標(biāo)和所述目標(biāo)輪廓，在所述二維平面上形成第一檢測框；

根據(jù)所述二維圖像信息的所述二維檢測框坐標(biāo)，確定對應(yīng)的第二檢測框，將所述第一檢測框和所述第二檢測框進(jìn)行IOU匹配；

若匹配成功，將所述第二檢測框?qū)?yīng)的第二目標(biāo)的所屬類別賦予給所述第一檢測框?qū)?yīng)的三維點(diǎn)云數(shù)據(jù)，形成所述目標(biāo)融合數(shù)據(jù)。