[發(fā)明專利]一種毫米波雷達視覺前置融合裝置及目標識別方法

在審

• 申請?zhí)枺?/td>: 202110383016.5
• 申請日: 2021-04-09
• 公開（公告）號: CN113011380A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設計）人: 畢欣;楊士超;熊璐;許志秋;張博
• 申請（專利權(quán)）人: 同濟大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G01S13/931;G01S13/86
• 代理公司: 江蘇長德知識產(chǎn)權(quán)代理有限公司 32478
• 代理人: 馮娟

1.一種毫米波雷達視覺前置融合裝置，其特征在于，包括視覺數(shù)據(jù)采集模塊、雷達數(shù)據(jù)采集模塊、數(shù)據(jù)融合電路模塊和算法模塊；

所述視覺數(shù)據(jù)采集模塊，用于采集自車行駛區(qū)域前方物體的視覺數(shù)據(jù)；

所述雷達數(shù)據(jù)采集模塊，用于采集自車行駛區(qū)域前方物體的雷達數(shù)據(jù)；

所述數(shù)據(jù)融合電路模塊，用于將采集到的視覺數(shù)據(jù)和雷達數(shù)據(jù)進行融合處理；

所述算法模塊，被連接到數(shù)據(jù)融合電路模塊，用于對預處理后的多維數(shù)據(jù)通過融合學習算法進行識別感知。

2.根據(jù)權(quán)利要求1所述的一種毫米波雷達視覺前置融合裝置，其特征在于，所述該毫米波雷達視覺前置融合裝置還包括：

供電模塊，用于對數(shù)據(jù)融合電路模塊和算法模塊進行工作供電；

顯示模塊，被連接到算法模塊，用于將識別感知結(jié)果以畫面的形式進行展示。

3.一種毫米波雷達視覺前置融合目標識別方法，其特征在于，包括以下步驟：

S1、首先使用CenterNet檢測法獲得視覺數(shù)據(jù)預測目標的中心點，并回歸得到目標的3D坐標、深度、旋轉(zhuǎn)信息；

S2、將雷達數(shù)據(jù)采集模塊檢測到的目標數(shù)據(jù)和上面檢測到的目標中心點進行關聯(lián)；

S3、將關聯(lián)后的目標的特征和雷達數(shù)據(jù)檢測到的深度和速度信息組成的特征圖并聯(lián)，再進行3D目標深度、旋轉(zhuǎn)、速度和屬性的回歸。

4.根據(jù)權(quán)利要求3所述的一種毫米波雷達視覺前置融合目標識別方法，其特征在于,所述S1中使用CenterNet檢測法獲得視覺數(shù)據(jù)預測目標的中心點，并回歸得到目標的3D坐標、深度、旋轉(zhuǎn)信息具體為采用的對象檢測網(wǎng)絡，檢測圖像平面上的對象中心點，并回歸到三維定位、方向、維度等其他對象屬性，包括：

將雷達探測與相應物體的中心點聯(lián)系起來，并利用雷達和圖像特征，通過重新估計其深度、速度、旋轉(zhuǎn)和屬性來改進初步檢測；

中心點對象檢測網(wǎng)絡會為圖像中的每個對象類別生成一個熱圖，熱圖中的峰值表示對象可能的中心點，并且這些位置的圖像特征用于估計其他對象屬性。

5.根據(jù)權(quán)利要求3所述的一種毫米波雷達視覺前置融合目標識別方法，其特征在于，所述S2中將雷達數(shù)據(jù)采集模塊檢測到的目標數(shù)據(jù)和上面檢測到的目標中心點進行關聯(lián)包括：

在三維空間視錐法找到對應目標的示意圖，并將雷達點擴展到三維柱。

6.根據(jù)權(quán)利要求3所述的一種毫米波雷達視覺前置融合目標識別方法，其特征在于，所述S3中將關聯(lián)后的目標的特征和雷達數(shù)據(jù)檢測到的深度和速度信息組成的特征圖并聯(lián)，再進行3D目標深度、旋轉(zhuǎn)、速度和屬性的回歸，包括：

生成的特征圖作為額外的通道連接到圖像特征，這些特征被用作二次回歸頭的輸入，以重新計算對象的深度、旋轉(zhuǎn)、速度和屬性；

其中，速度回歸頭估計物體在車輛坐標系中的實際速度的x和y分量；

屬性回歸頭估計不同對象類的不同屬性，例如為Car類移動或停放，為行人類站立或坐；

二次回歸頭由三個卷積層和3個×3個核組成，然后是1×1個卷積層，以產(chǎn)生所需的輸出，與主要回歸頭相比，額外的卷積層有助于從雷達特征映射中學習更高層次的特征；

將回歸頭結(jié)果解碼為3D邊界框，隨后框解碼器塊使用從二次回歸頭中估計的深度、速度、旋轉(zhuǎn)和屬性，并從主回歸頭中獲取其他對象屬性。