[發(fā)明專利]4D毫米波和激光點(diǎn)云多視角特征融合的三維目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110200544.2
• 申請(qǐng)日: 2021-02-23
• 公開（公告）號(hào): CN113158763B
• 公開（公告）日: 2021-12-07
• 發(fā)明（設(shè)計(jì)）人: 張新鈺;劉華平;劉玉超
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G01S17/931;G01S13/931;G01S13/86
• 代理公司: 北京方安思達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11472
• 代理人: 陳琳琳;楊青

1.一種4D毫米波和激光點(diǎn)云多視角特征融合的三維目標(biāo)檢測(cè)方法，所述方法包括：

同時(shí)采集毫米波雷達(dá)點(diǎn)云數(shù)據(jù)和激光雷達(dá)點(diǎn)云數(shù)據(jù)；

將毫米波雷達(dá)點(diǎn)云數(shù)據(jù)和激光雷達(dá)點(diǎn)云數(shù)據(jù)，輸入預(yù)先建立和訓(xùn)練好的毫米波與激光雷達(dá)融合網(wǎng)絡(luò)，輸出三維目標(biāo)檢測(cè)結(jié)果；

所述毫米波與激光雷達(dá)融合網(wǎng)絡(luò)，用于分別從BEV視角學(xué)習(xí)激光雷達(dá)和毫米波雷達(dá)的交互信息，從透視視角學(xué)習(xí)激光雷達(dá)和毫米波雷達(dá)的交互信息，將這個(gè)交互信息進(jìn)行拼接，從而實(shí)現(xiàn)毫米波雷達(dá)點(diǎn)云數(shù)據(jù)和激光雷達(dá)點(diǎn)云數(shù)據(jù)的融合；

所述毫米波與激光雷達(dá)融合網(wǎng)絡(luò)包括：體素化模塊、特征融合模塊、毫米波和激光雷達(dá)特征交互模塊、偽圖像處理模塊、2D卷積神經(jīng)網(wǎng)絡(luò)和檢測(cè)頭；

所述體素化模塊，用于對(duì)毫米波雷達(dá)點(diǎn)云數(shù)據(jù)和激光雷達(dá)點(diǎn)云數(shù)據(jù)分別進(jìn)行BEV視角的體素化，輸出毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的Pillar特征和激光雷達(dá)點(diǎn)云數(shù)據(jù)的Pillar特征；對(duì)毫米波雷達(dá)點(diǎn)云數(shù)據(jù)和激光雷達(dá)點(diǎn)云數(shù)據(jù)分別進(jìn)行PV視角的體素化，輸出毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的Pyramid特征和激光雷達(dá)點(diǎn)云數(shù)據(jù)的Pyramid特征；

所述特征融合模塊，用于將激光雷達(dá)點(diǎn)云數(shù)據(jù)的Pillar特征和毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的Pyramid特征拼接，將毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的Pillar特征和激光雷達(dá)點(diǎn)云數(shù)據(jù)的Pyramid特征拼接，將拼接后的兩個(gè)特征輸入毫米波和激光雷達(dá)特征交互模塊；

所述毫米波和激光雷達(dá)特征交互模塊，用于從BEV視角學(xué)習(xí)激光雷達(dá)和毫米波雷達(dá)的交互信息，從透視視角學(xué)習(xí)激光雷達(dá)和毫米波雷達(dá)的交互信息，得到攜帶毫米波雷達(dá)交互信息的激光雷達(dá)特征和攜帶激光雷達(dá)交互信息的毫米波雷達(dá)特征；將這個(gè)特征在通道維度進(jìn)行拼接得到特征F，輸入到偽圖像處理模塊；

所述偽圖像處理模塊，用于根據(jù)體素化模塊中生成的每個(gè)體素的坐標(biāo)，將毫米波和激光雷達(dá)特征交互模塊輸出的特征F按位置編碼到x-y平面，形成一個(gè)128通道的偽圖像；

所述2D卷積神經(jīng)網(wǎng)絡(luò)，用于從128通道的偽圖像中提取多尺度的特征信息，輸出至檢測(cè)頭；

所述檢測(cè)頭，用于對(duì)2D卷積神經(jīng)網(wǎng)絡(luò)輸出的特征進(jìn)行處理，輸出目標(biāo)檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1 所述的4D毫米波和激光點(diǎn)云多視角特征融合的三維目標(biāo)檢測(cè)方法，其特征在于，所述體素化模塊包括：毫米波雷達(dá)點(diǎn)云數(shù)據(jù)Pillar特征提取單元、激光雷達(dá)點(diǎn)云數(shù)據(jù)Pillar特征提取單元、毫米波雷達(dá)點(diǎn)云數(shù)據(jù)Pyramid特征提取單元和激光雷達(dá)點(diǎn)云數(shù)據(jù)Pyramid特征提取單元；

所述毫米波雷達(dá)點(diǎn)云數(shù)據(jù)Pillar特征提取單元，包括：第一全連接層、第一鳥瞰視圖、第一全連接層和第一最大池化層；毫米波雷達(dá)點(diǎn)云數(shù)據(jù)經(jīng)過第一全連接層后維度擴(kuò)展到64維，通過第一鳥瞰視圖進(jìn)行BEV視角體素化，在通過第一全連接層和第一最大池化層后，輸出毫米波雷達(dá)點(diǎn)云數(shù)據(jù)Pillar特征；

所述激光雷達(dá)點(diǎn)云數(shù)據(jù)Pillar特征提取單元，包括：第二全連接層、第二鳥瞰視圖、第二全連接層和第二最大池化層；激光雷達(dá)點(diǎn)云數(shù)據(jù)經(jīng)過第二全連接層后維度擴(kuò)展到64維，通過第二鳥瞰視圖進(jìn)行BEV視角體素化，在通過第二全連接層和第二最大池化層后，輸出激光雷達(dá)點(diǎn)云數(shù)據(jù)Pillar特征；

所述毫米波雷達(dá)點(diǎn)云數(shù)據(jù)Pyramid特征提取單元，包括：第三全連接層、第一透視視圖、第三全連接層和第三最大池化層，毫米波雷達(dá)點(diǎn)云數(shù)據(jù)經(jīng)過第三全連接層后維度擴(kuò)展到64維，通過第一透視視圖進(jìn)行PV視角體素化，在通過第三全連接層和第三最大池化層后，輸出毫米波雷達(dá)點(diǎn)云數(shù)據(jù)Pyramid特征；

所述激光雷達(dá)點(diǎn)云數(shù)據(jù)Pyramid特征提取單元，包括：第四全連接層、第二透視視圖、第四全連接層和第四最大池化層，激光雷達(dá)點(diǎn)云數(shù)據(jù)經(jīng)過第四全連接層后維度擴(kuò)展到64維，通過第二透視視圖進(jìn)行PV視角體素化，在通過第四全連接層和第四最大池化層后，輸出激光雷達(dá)點(diǎn)云數(shù)據(jù)Pyramid特征。