[發(fā)明專利]一種基于長短焦相機與毫米波雷達(dá)融合的目標(biāo)檢測方法

在審

• 申請?zhí)枺?/td>: 202111371238.1
• 申請日: 2021-11-18
• 公開（公告）號: CN114089329A
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計）人: 馮明馳;王鑫;劉景林;孫博望;李成南;鄧程木;梁曉雄;宋貴林;岑明
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G01S13/86
• 分類號: G01S13/86;G01S13/08;G01S13/58;G01S13/931;G01S11/12
• 代理公司: 重慶市恒信知識產(chǎn)權(quán)代理有限公司 50102
• 代理人: 劉小紅

本發(fā)明請求保護(hù)一種基于長短焦相機和毫米波雷達(dá)融合的目標(biāo)檢測方法，涉及自動駕駛、計算機視覺、圖像處理、深度學(xué)習(xí)等領(lǐng)域。首先本發(fā)明構(gòu)建具有目標(biāo)檢測功能的長短焦融合網(wǎng)絡(luò)，獲得長短焦相機系統(tǒng)的融合檢測結(jié)果，并結(jié)合自適應(yīng)圖像金字塔來獲取目標(biāo)的深度信息；其次對長短焦相機與毫米波進(jìn)行的空間關(guān)系進(jìn)行標(biāo)定；最后會基于目標(biāo)相似程度對長短焦相機融合檢測結(jié)果與毫米波雷達(dá)目標(biāo)進(jìn)行匹配和融合，得到更加精確的目標(biāo)檢測結(jié)果。本發(fā)明通過對不同傳感器進(jìn)行信息融合，可以充分發(fā)揮各傳感器的目標(biāo)檢測優(yōu)勢，實現(xiàn)信息冗余和互補，提高目標(biāo)檢測的精度、極限距離和有效視野范圍，使得智能駕駛系統(tǒng)更加安全可靠。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)、計算機視覺、自動駕駛、圖像處理等領(lǐng)域，具體涉及一種基于長短焦相機與毫米波雷達(dá)融合的目標(biāo)檢測方法。

背景技術(shù)

隨著人工智能、機器視覺技術(shù)的快速發(fā)展，智能駕駛成為了學(xué)業(yè)界、工業(yè)界研究的重要領(lǐng)域，感知模塊作為智能駕駛系統(tǒng)的重要一環(huán)，其獲取的環(huán)境信息是智能駕駛技術(shù)成功應(yīng)用的基礎(chǔ)。現(xiàn)階段量產(chǎn)的智能駕駛系統(tǒng)的主流傳感器為毫米波雷達(dá)和相機，毫米波雷達(dá)對目標(biāo)距離和速度的檢測精度較高，并且可以全天候工作，但是其不能準(zhǔn)確識別目標(biāo)類型，容易受噪聲干擾；相機能夠獲取豐富的環(huán)境信息，并且其價格和技術(shù)難度相對較低，但是對光照和天氣的變化較為敏感，且單一焦距相機的視野和極限檢測距離有限，因此基于單一傳感器的環(huán)境感知方案往往可能會存在一些局限性。通過對不同焦距相機和毫米波雷達(dá)進(jìn)行信息融合，可以充分發(fā)揮各傳感器的目標(biāo)檢測優(yōu)勢，以實現(xiàn)信息冗余和互補。因此，為了提升系統(tǒng)的目標(biāo)檢測能力，對多傳感器信息融合的研究尤為重要。

經(jīng)過檢索，對比文件1，申請?zhí)枮?02011288888.5，一種基于長短焦多相機車輛環(huán)境下的目標(biāo)檢測和融合方法。該方法包括以下幾個步驟：1.采用卷積神經(jīng)網(wǎng)絡(luò)對長短焦雙目相機采集的圖像進(jìn)行目標(biāo)檢測，得到同一時刻下不同焦距相機所得圖像中的目標(biāo)框位置。2.根據(jù)相機成像原理和相機標(biāo)定所得的內(nèi)外參數(shù)K、R、T，可得到空間目標(biāo)點P在長、短焦相機像素坐標(biāo)系下的映射關(guān)系f。3.將長焦相機圖像中的目標(biāo)框位置，通過映射關(guān)系f,得到短焦相機圖像中相應(yīng)目標(biāo)框的位置，再與原短焦相機圖像中的目標(biāo)進(jìn)行融合，實現(xiàn)了不同距離條件下的目標(biāo)檢測任務(wù)。該發(fā)明雖然克服了單一焦距相機不能適應(yīng)不同距離下目標(biāo)檢測的局限性，但是僅由視覺技術(shù)來獲取目標(biāo)的深度信息仍然不夠準(zhǔn)確，而雷達(dá)傳感器剛好能提供精確的深度信息。除此之外，長短焦相機與雷達(dá)融合，能獲取更大的環(huán)境感知范圍。

對比文件2，申請?zhí)?02011520256.7一種基于毫米波雷達(dá)先驗定位和視覺特征融合的目標(biāo)檢測方法，所述方法包括：基于標(biāo)定后的毫米波雷達(dá)和車載相機，同時獲取毫米波雷達(dá)點云數(shù)據(jù)和相機圖像；將毫米波雷達(dá)點云數(shù)據(jù)進(jìn)行空間三維坐標(biāo)變換以投影到相機平面；基于投影后的毫米波雷達(dá)點云數(shù)據(jù)，根據(jù)預(yù)先設(shè)定的anchor策略生成多個anchor樣本，基于每個候選區(qū)域的速度距離權(quán)重獲得最終的anchor樣本；通過將相機圖像的RGB信息和毫米波雷達(dá)點云數(shù)據(jù)的散射截面強度信息進(jìn)行融合，獲取最終的樣本的特征；將最終的anchor樣本的特征輸入檢測網(wǎng)絡(luò)，生成場景下目標(biāo)的類別和位置信息。該發(fā)明雖然提高了全天候場景下的目標(biāo)檢測效果，但是對于場景中遠(yuǎn)處的目標(biāo)仍然無法進(jìn)行有效的檢測，而本發(fā)明通過融合了長、短焦距相機的信息，有效地提高了場景中遠(yuǎn)處目標(biāo)的檢測精度，并且通過融合雷達(dá)數(shù)據(jù)，我們的方法也能適應(yīng)全天候的場景。

對比文件3，申請?zhí)?01910814532.1，一種基于雙目相機和毫米波雷達(dá)的融合SLAM方法，其特征在于：包括以下步驟，通過雙目相機(100)和毫米波雷達(dá)(200)采集圖像和雷達(dá)數(shù)據(jù)；分別對圖像和雷達(dá)數(shù)據(jù)進(jìn)行處理，得到圖像對應(yīng)的深度圖，并將雷達(dá)數(shù)據(jù)映射到圖像中；對圖像和雷達(dá)數(shù)據(jù)的處理結(jié)果進(jìn)行融合，并根據(jù)融合后結(jié)果建立SLAM地圖。該發(fā)明主要用于SLAM建圖，而我們的方法則專注于提升目標(biāo)檢測的性能。除此之外，我們的方法采用了長、短焦距相機的數(shù)據(jù)信息進(jìn)行融合，這使得我們的目標(biāo)檢測方法能檢測到更遠(yuǎn)距離的目標(biāo)。

發(fā)明內(nèi)容

本發(fā)明旨在解決以上現(xiàn)有技術(shù)的問題。提出了一種基于長短焦相機與毫米波雷達(dá)融合的目標(biāo)檢測方法。本發(fā)明的技術(shù)方案如下：