[發(fā)明專利]一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010897590.8
• 申請(qǐng)日: 2020-08-31
• 公開(kāi)（公告）號(hào): CN111951306A
• 公開(kāi)（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 晁戰(zhàn)云;羅元泰;袁洪躍;冉茂國(guó);黃秀華;萬(wàn)鐘平;賴晗
• 申請(qǐng)（專利權(quán)）人: 華通科技有限公司
• 主分類(lèi)號(hào): G06T7/292
• 分類(lèi)號(hào): G06T7/292;G06T7/80;G01S7/48;G06N3/04
• 代理公司: 重慶強(qiáng)大凱創(chuàng)專利代理事務(wù)所(普通合伙) 50217
• 代理人: 陳家輝

1.一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，其特征在于，包括步驟：

S1、固定圖像傳感器與激光雷達(dá)的相對(duì)位置，并確保圖像傳感器與激光雷達(dá)具有共視區(qū)；

S2、圖像傳感器采集圖像視頻數(shù)據(jù)，激光雷達(dá)采集三維點(diǎn)云數(shù)據(jù)，兩路數(shù)據(jù)采集保持實(shí)時(shí)同步；

S3、對(duì)圖像視頻數(shù)據(jù)和三維點(diǎn)云數(shù)據(jù)兩者進(jìn)行標(biāo)定，獲取激光點(diǎn)云到像素平面的映射關(guān)系矩陣T；

S4、通過(guò)數(shù)據(jù)接口實(shí)時(shí)順序獲取每幀圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)，運(yùn)行算法并根據(jù)映射關(guān)系矩陣T融合兩路數(shù)據(jù)計(jì)算得出檢測(cè)結(jié)果；

S5、輸出檢測(cè)結(jié)果。

2.如權(quán)利要求1所述的一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，其特征在于，S4中，算法的具體步驟包括：

A1、生成深度矩陣D；

A2、將像素矩陣I和深度矩陣D按通道拼接到一起，得到包含像素深度通道的像素矩陣I2；

A3、將I2輸入到目標(biāo)檢測(cè)模型；

A4、輸出結(jié)果。

3.如權(quán)利要求2所述的一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，其特征在于，

A3中，還包括對(duì)模型輸出層做修改，設(shè)計(jì)記憶融合結(jié)構(gòu)M，記憶融合結(jié)構(gòu)M具體包括：

add加法操作節(jié)點(diǎn)，用于進(jìn)行矩陣點(diǎn)加法；

mul乘法操作節(jié)點(diǎn)，用于進(jìn)行矩陣點(diǎn)乘法；

concat操作節(jié)點(diǎn)，用于進(jìn)行通道拼接；

conv_block卷積模塊，用于進(jìn)行卷積操作、歸一化操作和激活函數(shù)操作；

delay延遲操作節(jié)點(diǎn)，用于暫存數(shù)據(jù)。

4.如權(quán)利要求3所述的一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，其特征在于，conv_block卷積模塊包括conv_block1、conv_block2和conv_block3，conv_block1、conv_block2和conv_block3均為卷積操作節(jié)點(diǎn)、歸一化操作節(jié)點(diǎn)和激活函數(shù)操作節(jié)點(diǎn)的串聯(lián)。

5.如權(quán)利要求4所述的一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，其特征在于，去除掉conv_block1。

6.如權(quán)利要求5所述的一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，其特征在于，A2中，像素深度通道為兩通道或四通道。

7.如權(quán)利要求6所述的一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，其特征在于，兩通道具體為灰度值和深度值。

8.如權(quán)利要求7所述的一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，其特征在于，四通道具體為rgb值和深度值。

9.如權(quán)利要求8所述的一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，其特征在于，目標(biāo)檢測(cè)模型為SSD或YOLO模型。

10.如權(quán)利要求9所述的一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，其特征在于，檢測(cè)結(jié)果為目標(biāo)在圖像平面上的位置和區(qū)域。