[發(fā)明專利]一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010897590.8
• 申請(qǐng)日: 2020-08-31
• 公開（公告）號(hào): CN111951306A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 晁戰(zhàn)云;羅元泰;袁洪躍;冉茂國;黃秀華;萬鐘平;賴晗
• 申請(qǐng)（專利權(quán)）人: 華通科技有限公司
• 主分類號(hào): G06T7/292
• 分類號(hào): G06T7/292;G06T7/80;G01S7/48;G06N3/04
• 代理公司: 重慶強(qiáng)大凱創(chuàng)專利代理事務(wù)所(普通合伙) 50217
• 代理人: 陳家輝

本發(fā)明涉及圖像檢測(cè)技術(shù)領(lǐng)域，具體涉及一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，包括步驟：S1、固定圖像傳感器與激光雷達(dá)的相對(duì)位置，并確保圖像傳感器與激光雷達(dá)具有共視區(qū)；S2、圖像傳感器采集圖像視頻數(shù)據(jù)，激光雷達(dá)采集三維點(diǎn)云數(shù)據(jù)，兩路數(shù)據(jù)采集保持實(shí)時(shí)同步；S3、對(duì)圖像視頻數(shù)據(jù)和三維點(diǎn)云數(shù)據(jù)兩者進(jìn)行標(biāo)定，獲取激光點(diǎn)云到像素平面的映射關(guān)系矩陣T；S4、通過數(shù)據(jù)接口實(shí)時(shí)順序獲取每幀圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)，運(yùn)行算法并根據(jù)映射關(guān)系矩陣T融合兩路數(shù)據(jù)計(jì)算得出檢測(cè)結(jié)果；S5、輸出檢測(cè)結(jié)果。本發(fā)明解決了單幅圖像只能提供二維圖像平面的像素信息，導(dǎo)致檢測(cè)準(zhǔn)確率下降和誤檢率升高的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像檢測(cè)技術(shù)領(lǐng)域，具體涉及一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法。

背景技術(shù)

在基于圖像的目標(biāo)檢測(cè)中，傳統(tǒng)的做法是對(duì)單張圖片應(yīng)用普通深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行目標(biāo)興趣區(qū)域的定位和識(shí)別分類，該方式檢測(cè)準(zhǔn)確率和誤檢率都不夠理想，尤其是對(duì)小目標(biāo)、被遮擋的目標(biāo)、模糊圖像以及光照過暗和過強(qiáng)圖像的檢測(cè)。

比如，文件CN110175576A公開了一種結(jié)合激光點(diǎn)云數(shù)據(jù)的行駛車輛視覺檢測(cè)方法，首先完成激光雷達(dá)與攝像機(jī)的聯(lián)合標(biāo)定，再進(jìn)行時(shí)間對(duì)準(zhǔn)；計(jì)算標(biāo)定后的視頻數(shù)據(jù)中相鄰兩幀間的光流灰度圖，并基于光流灰度圖進(jìn)行運(yùn)動(dòng)分割，得到運(yùn)動(dòng)區(qū)域，即候選區(qū)域；基于各幀圖像對(duì)應(yīng)的時(shí)間對(duì)準(zhǔn)后的點(diǎn)云數(shù)據(jù)，在候選區(qū)域?qū)?yīng)的錐形空間內(nèi)搜索車輛對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)，得到運(yùn)動(dòng)目標(biāo)的三維包圍框；基于候選區(qū)域，在各幀圖像上提取方向梯度直方圖特征；提取三維包圍框中的點(diǎn)云數(shù)據(jù)的特征；基于遺傳算法，將得到的特征進(jìn)行特征級(jí)融合，融合后對(duì)運(yùn)動(dòng)區(qū)域分類，獲得最后的行駛車輛檢測(cè)結(jié)果。

但是，由于單幅圖像只能提供某一時(shí)刻二維圖像平面的像素信息，其受光照、分辨率、方法倍數(shù)、相機(jī)聚焦與運(yùn)動(dòng)的影響較大，會(huì)導(dǎo)致檢測(cè)準(zhǔn)確率下降和誤檢率升高。

發(fā)明內(nèi)容

本發(fā)明提供一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，解決了由于單幅圖像只能提供某一時(shí)刻二維圖像平面的像素信息，其受光照、分辨率、方法倍數(shù)、相機(jī)聚焦與運(yùn)動(dòng)的影響較大，會(huì)導(dǎo)致檢測(cè)準(zhǔn)確率下降和誤檢率升高的技術(shù)問題。

本發(fā)明提供的基礎(chǔ)方案為：一種激光雷達(dá)與圖像視頻融合的目標(biāo)檢測(cè)方法，包括步驟：

S1、固定圖像傳感器與激光雷達(dá)的相對(duì)位置，并確保圖像傳感器與激光雷達(dá)具有共視區(qū)；

S2、圖像傳感器采集圖像視頻數(shù)據(jù)，激光雷達(dá)采集三維點(diǎn)云數(shù)據(jù)，兩路數(shù)據(jù)采集保持實(shí)時(shí)同步；

S3、對(duì)圖像視頻數(shù)據(jù)和三維點(diǎn)云數(shù)據(jù)兩者進(jìn)行標(biāo)定，獲取激光點(diǎn)云到像素平面的映射關(guān)系矩陣T；

S4、通過數(shù)據(jù)接口實(shí)時(shí)順序獲取每幀圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)，運(yùn)行算法并根據(jù)映射關(guān)系矩陣T融合兩路數(shù)據(jù)計(jì)算得出檢測(cè)結(jié)果；

S5、輸出檢測(cè)結(jié)果。

本發(fā)明的工作原理及優(yōu)點(diǎn)在于：通過融合激光雷達(dá)數(shù)據(jù)以獲取場(chǎng)景三維深度信息、融合視頻流以獲取圖像各歷史時(shí)刻信息，視頻數(shù)據(jù)對(duì)動(dòng)態(tài)歷史的記錄能為算法提供記憶信息，充分利用更多的信息來提升檢測(cè)準(zhǔn)確率，增強(qiáng)了算法對(duì)局部幀出現(xiàn)干的魯棒性。通過這樣的方式，當(dāng)目標(biāo)暫時(shí)被遮擋、運(yùn)動(dòng)造成相機(jī)的聚焦突然模糊、動(dòng)態(tài)目標(biāo)由近到遠(yuǎn)導(dǎo)致在畫面中所占區(qū)域變小時(shí)，由于激光雷達(dá)抗光照干擾能力強(qiáng)，能夠明顯提升目標(biāo)檢測(cè)準(zhǔn)確率、降低誤檢率。

本發(fā)明通過融合激光雷達(dá)數(shù)據(jù)以獲取場(chǎng)景三維深度信息、融合視頻流以獲取圖像各歷史時(shí)刻信息，解決了由于單幅圖像只能提供某一時(shí)刻二維圖像平面的像素信息，其受光照、分辨率、方法倍數(shù)、相機(jī)聚焦與運(yùn)動(dòng)的影響較大，會(huì)導(dǎo)致檢測(cè)準(zhǔn)確率下降和誤檢率升高的技術(shù)問題。

進(jìn)一步，S4中，算法的具體步驟包括：

A1、生成深度矩陣D；

A2、將像素矩陣I和深度矩陣D按通道拼接到一起，得到包含像素深度通道的像素矩陣I2；