[發(fā)明專利]基于空時(shí)域多維融合的道路場(chǎng)景他車檢測(cè)系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011120818.9
• 申請(qǐng)日: 2020-10-19
• 公開（公告）號(hào): CN112233097B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 高洪波;黃逸飛;李智軍;朱菊萍;何希
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T5/50;G06T7/246;G06T7/33;G06N3/04;G06N3/08
• 代理公司: 上海段和段律師事務(wù)所 31334
• 代理人: 李佳俊;郭國(guó)中

本發(fā)明提供了一種基于空時(shí)域多維融合技術(shù)的道路場(chǎng)景他車檢測(cè)系統(tǒng)和方法，利用相機(jī)、雷達(dá)的標(biāo)定參數(shù)得到投影矩陣，根據(jù)距離遠(yuǎn)近以不同的色調(diào)，通過投影矩陣將雷達(dá)點(diǎn)云數(shù)據(jù)與相機(jī)圖像數(shù)據(jù)融合，形成多維融合圖像數(shù)據(jù)；采用兩個(gè)YOLOv3模型分別對(duì)相機(jī)圖像數(shù)據(jù)和多維融合圖像數(shù)據(jù)進(jìn)行檢測(cè)，標(biāo)定目標(biāo)車輛的檢測(cè)框，形成第一標(biāo)注圖片和第二標(biāo)注圖片后進(jìn)行訓(xùn)練，得到第一目標(biāo)檢測(cè)模型和第二目標(biāo)檢測(cè)模型；對(duì)目標(biāo)車輛的檢測(cè)框進(jìn)行跟蹤和數(shù)據(jù)關(guān)聯(lián)，篩選后輸出檢測(cè)結(jié)果。結(jié)合圖像序列幀的時(shí)域信息通過數(shù)據(jù)關(guān)聯(lián)實(shí)現(xiàn)目標(biāo)追蹤進(jìn)行他車檢測(cè)，更接近實(shí)際的道路場(chǎng)景，減少了因道路場(chǎng)景車輛的運(yùn)動(dòng)性而產(chǎn)生的對(duì)他車檢測(cè)精度的影響，提高檢測(cè)精確度，魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及模式識(shí)別與人工智能技術(shù)領(lǐng)域，具體地，涉及一種基于空時(shí)域多維融合的道路場(chǎng)景他車檢測(cè)系統(tǒng)和方法，尤其是一種結(jié)合了相機(jī)圖像信息、雷達(dá)點(diǎn)云信息和目標(biāo)跟蹤信息的基于空時(shí)域多維融合技術(shù)的道路場(chǎng)景他車檢測(cè)方法。

背景技術(shù)

在計(jì)算機(jī)技術(shù)不斷發(fā)展的現(xiàn)在，深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)領(lǐng)域取得了巨大的進(jìn)展，與此同時(shí)，汽車的保有量在不斷提升，人們對(duì)代步工具的便利性與安全性有了日益增長(zhǎng)的新要求。在目標(biāo)檢測(cè)中，車輛的目標(biāo)檢測(cè)是一大重要領(lǐng)域，能否快速安全地檢測(cè)車輛，是無人駕駛技術(shù)的可行性與安全性的前提，具有較大的研究意義。

目前傳統(tǒng)的目標(biāo)檢測(cè)算法多為對(duì)單幀RBG圖像進(jìn)行的目標(biāo)檢測(cè)。這樣的檢測(cè)方法有幾個(gè)缺點(diǎn)，首先，在實(shí)際的道路場(chǎng)景中，自動(dòng)駕駛車輛具有多種傳感器，如激光雷達(dá)、彩色相機(jī)、GPS系統(tǒng)等，采取單一的圖像目標(biāo)檢測(cè)方法不能充分地利用這些道路場(chǎng)景空域上的多維信息。第二，道路場(chǎng)景中圖像的形式為一幀幀的連續(xù)視頻序列，在這些序列中，圖像的幀與幀之間存在大量的冗余信息以及關(guān)聯(lián)信息，采取單一的圖像目標(biāo)檢測(cè)方法不能充分地利用這些道路場(chǎng)景時(shí)域上的多維信息。第三，在運(yùn)動(dòng)的車輛上，相機(jī)采集到的圖像往往具有遮擋，失焦，運(yùn)動(dòng)模糊，光照變化等問題，若采取單一的圖像目標(biāo)檢測(cè)方法，不能充分地避免這些問題對(duì)目標(biāo)檢測(cè)算法精確度的影響，這給道路場(chǎng)景的目標(biāo)檢測(cè)帶來了較大的難度。在現(xiàn)有的目標(biāo)檢測(cè)法越來越精確，快速的情況下，利用道路場(chǎng)景空域的多維信息以及時(shí)域信息的關(guān)聯(lián)性，結(jié)合現(xiàn)有的目標(biāo)檢測(cè)方法，可以提高檢測(cè)的性能。深度神經(jīng)網(wǎng)絡(luò)的研究為我們提供了檢測(cè)的工具，其中YOLOv3網(wǎng)絡(luò)對(duì)目標(biāo)檢測(cè)具有較高的準(zhǔn)確性與實(shí)時(shí)性。相比單幀信息的目標(biāo)檢測(cè)方法，在道路場(chǎng)景中采取目標(biāo)跟蹤數(shù)據(jù)關(guān)聯(lián)的方式結(jié)合多幀信息，可以進(jìn)一步提高目標(biāo)檢測(cè)的準(zhǔn)確率和魯棒性。道路場(chǎng)景中車輛檢測(cè)的準(zhǔn)確度對(duì)后續(xù)無人駕駛技術(shù)的安全問題至關(guān)重要。

與本申請(qǐng)相關(guān)的專利文獻(xiàn)CN110781927A，開了車路協(xié)同下基于深度學(xué)習(xí)的目標(biāo)檢測(cè)與分類方法，包括：獲取目標(biāo)的點(diǎn)云數(shù)據(jù)，并將所述目標(biāo)的點(diǎn)云數(shù)據(jù)映射到矩陣中，對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行網(wǎng)格化；采用基于網(wǎng)格化與幀融合的密度聚類，判斷空間中目標(biāo)的鄰域關(guān)系和密度；根據(jù)所述基于網(wǎng)格化與幀融合的密度聚類，通過權(quán)重共享卷積核提取所述點(diǎn)云數(shù)據(jù)的局部特征，對(duì)所述目標(biāo)進(jìn)行分類。基于深度學(xué)習(xí)對(duì)目標(biāo)進(jìn)行了準(zhǔn)確的檢測(cè)與分類，但是并不適用于多維道路場(chǎng)景檢測(cè)。利用了交通系統(tǒng)中的監(jiān)控設(shè)備，相比配備了監(jiān)控設(shè)備的城市交通，在沒有監(jiān)控設(shè)備或缺少監(jiān)控設(shè)備的鄉(xiāng)村街道等道路場(chǎng)景，并不適用。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于空時(shí)域多維融合技術(shù)的道路場(chǎng)景他車檢測(cè)系統(tǒng)和方法。

根據(jù)本發(fā)明提供的一種基于空時(shí)域多維融合技術(shù)的道路場(chǎng)景他車檢測(cè)系統(tǒng)，包括：

數(shù)據(jù)預(yù)處理模塊：利用相機(jī)、雷達(dá)的標(biāo)定參數(shù)得到投影矩陣，根據(jù)距離遠(yuǎn)近以不同的色調(diào)，通過投影矩陣將雷達(dá)點(diǎn)云數(shù)據(jù)與相機(jī)圖像數(shù)據(jù)融合，形成多維融合圖像數(shù)據(jù)；

目標(biāo)檢測(cè)網(wǎng)絡(luò)模塊：采用兩個(gè)YOLOv3模型分別對(duì)相機(jī)圖像數(shù)據(jù)和多維融合圖像數(shù)據(jù)進(jìn)行檢測(cè)，標(biāo)定目標(biāo)車輛的檢測(cè)框，形成第一標(biāo)注圖片和第二標(biāo)注圖片，并對(duì)第一標(biāo)注圖片和第二標(biāo)注圖片進(jìn)行訓(xùn)練，得到第一目標(biāo)檢測(cè)模型和第二目標(biāo)檢測(cè)模型；

數(shù)據(jù)關(guān)聯(lián)追蹤后處理模塊：對(duì)目標(biāo)車輛的檢測(cè)框進(jìn)行跟蹤和數(shù)據(jù)關(guān)聯(lián)，篩選后輸出檢測(cè)結(jié)果。