[發(fā)明專利]跨雷達(dá)障礙物跟蹤方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011402327.3
• 申請(qǐng)日: 2020-12-02
• 公開(kāi)（公告）號(hào): CN112541416B
• 公開(kāi)（公告）日: 2023-07-14
• 發(fā)明（設(shè)計(jì)）人: 陳海波;許皓
• 申請(qǐng)（專利權(quán)）人: 深蘭科技（上海）有限公司
• 主分類號(hào): G06V20/58
• 分類號(hào): G06V20/58;G06V10/25;G06V10/75;G06T7/246;G06T7/277
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 程琛

1.一種跨雷達(dá)障礙物跟蹤方法，其特征在于，包括：

基于第一雷達(dá)采集的第一點(diǎn)云數(shù)據(jù)進(jìn)行障礙物檢測(cè)和雷達(dá)跟蹤，得到障礙物的雷達(dá)跟蹤標(biāo)識(shí)和第一雷達(dá)檢測(cè)框；

基于所述第一雷達(dá)檢測(cè)框，在攝像頭采集的圖像中定位所述障礙物，并對(duì)所述障礙物進(jìn)行圖像目標(biāo)跟蹤，得到所述障礙物的圖像檢測(cè)框；

將基于第二雷達(dá)采集的第二點(diǎn)云數(shù)據(jù)進(jìn)行障礙物檢測(cè)和雷達(dá)跟蹤后得到的障礙物的第二雷達(dá)檢測(cè)框映射到所述攝像頭的二維圖像坐標(biāo)系下后，與所述圖像檢測(cè)框進(jìn)行匹配；

若匹配成功，則將所述障礙物的雷達(dá)跟蹤標(biāo)識(shí)賦予所述第二雷達(dá)檢測(cè)框?qū)?yīng)的障礙物；

其中，所述攝像頭的可視化區(qū)域包含第一雷達(dá)的部分可視化區(qū)域、第二雷達(dá)的部分可視化區(qū)域，以及所述第一雷達(dá)和所述第二雷達(dá)之間的盲區(qū)的部分區(qū)域。

2.根據(jù)權(quán)利要求1所述的跨雷達(dá)障礙物跟蹤方法，其特征在于，所述基于所述第一雷達(dá)檢測(cè)框，在攝像頭采集的圖像中定位所述障礙物，并對(duì)所述障礙物進(jìn)行圖像目標(biāo)跟蹤，得到所述障礙物的圖像檢測(cè)框，具體包括：

根據(jù)坐標(biāo)系轉(zhuǎn)換矩陣，將所述第一雷達(dá)檢測(cè)框映射到所述攝像頭對(duì)應(yīng)的二維圖像坐標(biāo)系中，得到所述第一雷達(dá)檢測(cè)框在所述二維圖像坐標(biāo)系中的第一映射檢測(cè)框；

基于所述第一映射檢測(cè)框，在攝像頭采集的圖像中定位所述障礙物，并對(duì)所述障礙物進(jìn)行圖像目標(biāo)跟蹤，得到所述障礙物的圖像檢測(cè)框；

其中，所述坐標(biāo)系轉(zhuǎn)換矩陣是基于所述第一雷達(dá)以及所述攝像頭之間的相對(duì)位置關(guān)系確定的。

3.根據(jù)權(quán)利要求2所述的跨雷達(dá)障礙物跟蹤方法，其特征在于，所述基于所述第一映射檢測(cè)框，在攝像頭采集的圖像中定位所述障礙物，并對(duì)所述障礙物進(jìn)行圖像目標(biāo)跟蹤，得到所述障礙物的圖像檢測(cè)框，具體包括：

基于所述第一映射檢測(cè)框在所述二維圖像坐標(biāo)系中的坐標(biāo)，確定所述障礙物在所述攝像頭采集的圖像中的感興趣區(qū)域；

基于所述感興趣區(qū)域，對(duì)所述障礙物進(jìn)行圖像目標(biāo)跟蹤，得到所述障礙物的圖像檢測(cè)框。

4.根據(jù)權(quán)利要求1所述的跨雷達(dá)障礙物跟蹤方法，其特征在于，所述將基于第二雷達(dá)采集的第二點(diǎn)云數(shù)據(jù)進(jìn)行障礙物檢測(cè)和雷達(dá)跟蹤后得到的障礙物的第二雷達(dá)檢測(cè)框映射到所述攝像頭的二維圖像坐標(biāo)系下后，與所述圖像檢測(cè)框進(jìn)行匹配，具體包括：

將所述第二雷達(dá)檢測(cè)框映射到所述攝像頭的二維圖像坐標(biāo)系下，得到所述第二雷達(dá)檢測(cè)框?qū)?yīng)的第二映射檢測(cè)框；

計(jì)算所述第二映射檢測(cè)框與所述圖像檢測(cè)框之間的重疊率；

若所述重疊率大于預(yù)設(shè)重疊閾值，則確定所述第二雷達(dá)檢測(cè)框與所述圖像檢測(cè)框匹配成功。

5.根據(jù)權(quán)利要求4所述的跨雷達(dá)障礙物跟蹤方法，其特征在于，所述計(jì)算所述第二映射檢測(cè)框與所述圖像檢測(cè)框之間的重疊率，具體包括：

基于所述第二映射檢測(cè)框在所述二維圖像坐標(biāo)系中的坐標(biāo)，確定所述第二映射檢測(cè)框與所述圖像檢測(cè)框的重疊部分的面積，以及所述第二映射檢測(cè)框與所述圖像檢測(cè)框并集的總面積；

基于所述重疊部分的面積以及所述并集的總面積，確定所述重疊率。

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的跨雷達(dá)障礙物跟蹤方法，其特征在于，所述對(duì)所述障礙物進(jìn)行圖像目標(biāo)跟蹤，具體包括：

采用基于核相關(guān)濾波的跟蹤方法、基于混合高斯模型的跟蹤方法、基于卡爾曼濾波的跟蹤方法，或基于深度學(xué)習(xí)的跟蹤方法對(duì)所述障礙物進(jìn)行圖像目標(biāo)跟蹤。