[發(fā)明專利]一種基于注意力機(jī)制的視覺與激光雷達(dá)多模態(tài)數(shù)據(jù)融合方法

有效

• 申請?zhí)枺?/td>: 202110326528.8
• 申請日: 2021-03-26
• 公開（公告）號: CN113065590B
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 張新鈺;李駿;王力;蘭天蔚;李志偉;盧一倩
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06T7/80;G06T7/38;G06T7/11;G06T5/50;G06T5/00;G06N3/08;G06N3/04;G01S17/89
• 代理公司: 北京三聚陽光知識產(chǎn)權(quán)代理有限公司 11250
• 代理人: 張建綱

本發(fā)明公開了一種基于注意力機(jī)制的視覺與激光雷達(dá)多模態(tài)數(shù)據(jù)融合方法，所述方法包括：同時采集自動駕駛車輛的激光雷達(dá)點(diǎn)云數(shù)據(jù)以及相機(jī)RGB圖像；對激光雷達(dá)點(diǎn)云數(shù)據(jù)以及相機(jī)RGB圖像進(jìn)行預(yù)處理；通過球坐標(biāo)變換將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成距離圖像；將距離圖像和RGB圖像輸入預(yù)先建立和訓(xùn)練好的距離圖像融合模型，輸出最終的融合特征圖；所述距離圖像融合模型采用自注意機(jī)制對距離圖像和RGB圖像進(jìn)行融合；將最終的融合特征圖與帶有坐標(biāo)信息的距離圖像連接到一起，通過空間坐標(biāo)轉(zhuǎn)換從二維圖像還原到空間點(diǎn)云的表示形式。本發(fā)明的方法使用自注意機(jī)制有效地融合了多源信息，使兩種數(shù)據(jù)優(yōu)勢互補(bǔ)，提高了3D目標(biāo)檢測算法的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及自動駕駛技術(shù)領(lǐng)域，提出一種基于注意力機(jī)制的視覺與激光雷達(dá)多模態(tài)數(shù)據(jù)融合方法。

背景技術(shù)

近些年來，無人駕駛技術(shù)領(lǐng)域發(fā)展迅速，在無人駕駛技術(shù)中感知技術(shù)是不可或缺的一環(huán)。無人駕駛車輛依賴激光雷達(dá)、相機(jī)、輪速里程計(jì)等傳感器對環(huán)境進(jìn)行感知，如車道線檢測、3D目標(biāo)檢測都屬于無人駕駛技術(shù)的基本功能。環(huán)境感知可以為汽車反饋道路信息，以便對車輛的駕駛行為提供更為精準(zhǔn)的控制，從而提高駕駛的安全性和舒適性。

作為自動駕駛(輔助駕駛)系統(tǒng)的基礎(chǔ)功能之一，3D目標(biāo)檢測可以認(rèn)為是環(huán)境感知中極為重要的一環(huán)，主要是檢測場景中的車輛、行人等交通參與者。該功能為自動駕駛車輛后續(xù)的規(guī)劃和控制提供空間障礙物的分布信息，關(guān)系到駕駛安全性問題，如果出現(xiàn)錯誤則有可能造成非常嚴(yán)重的后果。

當(dāng)前，國內(nèi)外均對3D目標(biāo)檢測技術(shù)有了一定的研究，從硬件角度出發(fā)，針對3D目標(biāo)檢測任務(wù)的數(shù)據(jù)輸入來源主要來自于相機(jī)和激光雷達(dá)這兩類傳感器。相機(jī)作為針孔模型的感光元器件，會提供類似于人眼直觀感受的RGB圖像信息；而激光雷達(dá)作為一種主動采集式的傳感器，能夠通過發(fā)射接收激光，得到場景中目標(biāo)的真實(shí)空間坐標(biāo)信息。

從領(lǐng)域當(dāng)前的研究現(xiàn)狀來看，這兩種傳感器都廣泛應(yīng)用于3D目標(biāo)檢測。然而，這兩種傳感器都有著很明顯的缺陷。對于相機(jī)來說，RGB圖像作為一種稠密的2D表現(xiàn)方式，通過像素位置和像素?cái)?shù)值來表達(dá)空間信息，壓縮了Z軸的深度信息，這會導(dǎo)致3D目標(biāo)檢測任務(wù)中難以預(yù)測物體的空間絕對位置；另外，相機(jī)鏡頭還對光線的變化十分敏感，時常會出現(xiàn)過曝或者過暗的情形，在這種場景下采集到的數(shù)據(jù)難以辨識，缺失有效信息。而對于激光雷達(dá)來說，雖然可以得到目標(biāo)精確的空間位置信息，但是激光雷達(dá)作為主動式傳感器，只能接受由傳感器發(fā)射的激光信號，無法接受物體通過可見光反射的信號，所以無法得到物體的顏色紋理等特征信息；再者，激光的波長十分短，這又導(dǎo)致激光雷達(dá)的數(shù)據(jù)對于特殊天氣十分敏感，比如在雨雪天氣下得到的激光雷達(dá)點(diǎn)云通常會出現(xiàn)很多噪點(diǎn)。

綜上所述，如果使用圖像作為主要的輸入信息，在光照變化等條件導(dǎo)致圖像信息缺失的時候，檢測系統(tǒng)將會出現(xiàn)嚴(yán)重的失靈，此外圖像中缺乏空間距離信息也造成了檢測的短板。激光雷達(dá)點(diǎn)云雖然可以克服光照變化的問題，但點(diǎn)云的稀疏性和無序性也限制了其檢測能力。因此，針對單純使用車載相機(jī)或激光雷達(dá)時檢測能力不足的問題，一種新穎的思路是考慮結(jié)合更多的傳感器，并進(jìn)行數(shù)據(jù)融合以提高對環(huán)境感知的能力。但現(xiàn)階段大量的實(shí)驗(yàn)表明，如果只是簡單的對激光雷達(dá)獲得的點(diǎn)云信息和相機(jī)獲得的RGB圖像做像素級融合，不僅不會對感知算法的精度提升，反而會起到負(fù)面作用，通常都會在一定程度上降低感知精度。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述技術(shù)缺陷，提出了一種基于注意力機(jī)制的視覺和激光雷達(dá)多模態(tài)數(shù)據(jù)融合方法，可以有效地通過RGB特征提升點(diǎn)云的信息量，該過程是一種點(diǎn)云特征增強(qiáng)的方式，使用增強(qiáng)后的點(diǎn)云做3D目標(biāo)檢測可以驗(yàn)證該方法的有效性。

為實(shí)現(xiàn)上述目的，本發(fā)明的實(shí)施例1提出了一種基于注意力機(jī)制的視覺與激光雷達(dá)多模態(tài)數(shù)據(jù)融合方法，所述方法包括：

同時采集自動駕駛車輛的激光雷達(dá)點(diǎn)云數(shù)據(jù)以及相機(jī)RGB圖像；

對激光雷達(dá)點(diǎn)云數(shù)據(jù)以及相機(jī)RGB圖像進(jìn)行預(yù)處理；

通過球坐標(biāo)變換將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成距離圖像；