[發(fā)明專利]一種基于視覺和激光雷達(dá)的目標(biāo)檢測和運(yùn)動狀態(tài)估計(jì)方法

有效

• 申請?zhí)枺?/td>: 202010845378.7
• 申請日: 2020-08-20
• 公開（公告）號: CN111951305B
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計(jì)）人: 高小倩;馮明馳;馮輝宗;岑明;王字朋;卜川夏
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06T7/277
• 分類號: G06T7/277;G06T7/292;G06T7/33;G06T7/80;G06T5/00;G06N3/08;G06V10/762;G01S17/931;G06V10/25
• 代理公司: 重慶市恒信知識產(chǎn)權(quán)代理有限公司 50102
• 代理人: 陳棟梁

本發(fā)明請求保護(hù)一種基于視覺和激光雷達(dá)的目標(biāo)檢測和運(yùn)動狀態(tài)估計(jì)方法，包括以下步驟：1.安裝相機(jī)與激光雷達(dá)的位置，并進(jìn)行兩兩雙目相機(jī)之間的標(biāo)定，以及車前左相機(jī)與激光雷達(dá)之間的聯(lián)合標(biāo)定。并將立體視覺系統(tǒng)與激光雷達(dá)各自生成的稀疏點(diǎn)云進(jìn)行融合和補(bǔ)充，構(gòu)成全局的三維點(diǎn)云圖；2.用深度學(xué)習(xí)的方法對二維圖像以及三維點(diǎn)云進(jìn)行檢測，并通過立體視覺生成的圖像目標(biāo)三維運(yùn)動狀態(tài)和激光雷達(dá)三維點(diǎn)云目標(biāo)融合，獲取綜合的目標(biāo)三維特征點(diǎn)；3.根據(jù)目標(biāo)三維特征點(diǎn)，利用卡爾曼濾波對目標(biāo)進(jìn)行跟蹤，分析其運(yùn)動狀態(tài)。本發(fā)明的關(guān)鍵在于視覺與激光雷達(dá)傳感器之間的融合，改善智能汽車對周圍環(huán)境的感知能力。

技術(shù)領(lǐng)域

本發(fā)明屬于智能汽車環(huán)境感知領(lǐng)域，具體設(shè)計(jì)到一種基于視覺和激光雷達(dá)在山區(qū)復(fù)雜路況下的車輛行人等目標(biāo)檢測和運(yùn)動狀態(tài)估計(jì)方法。

背景技術(shù)

隨著人工智能、機(jī)器視覺等領(lǐng)域在近些年的快速發(fā)展，智能車成為了學(xué)術(shù)界、工業(yè)界研究發(fā)展的重要領(lǐng)域。對于智能汽車而言，不能夠缺失具備實(shí)時感知和理解周圍環(huán)境的能力。只有環(huán)境感知技術(shù)準(zhǔn)確、實(shí)時、可靠，才能保證車輛規(guī)劃出正確的通行路徑，進(jìn)而安全地實(shí)現(xiàn)自動行駛，因此環(huán)境感知技術(shù)是智能汽車實(shí)現(xiàn)安全駕駛的基礎(chǔ)要求和前提條件。

環(huán)境感知技術(shù)指的是智能汽車依靠自身攜帶的傳感器，描述車輛周圍環(huán)境狀況的技術(shù)。它可以攜帶一種傳感器，也可以攜帶多種傳感器進(jìn)行工作。在當(dāng)前，國內(nèi)外研究者一直在對單一傳感器的性能進(jìn)行完善，但是在復(fù)雜工作環(huán)境下，單一傳感器獲取的信息有局限性，僅僅依靠單一傳感器不能夠保證在各種條件下對目標(biāo)進(jìn)行正確的識別，會造成錯誤的環(huán)境感知。而多傳感器融合技術(shù)能夠彌補(bǔ)各自傳感器的缺陷，結(jié)合它們的優(yōu)點(diǎn)，準(zhǔn)確地、快速地感知車輛周圍的環(huán)境。例如，激光雷達(dá)具有探測距離遠(yuǎn)，檢測精度高等優(yōu)點(diǎn)，但是激光雷達(dá)不具備視覺識別的功能；而視覺傳感器彌補(bǔ)了激光雷達(dá)在識別物體方面的劣勢，它可以捕獲物體的細(xì)節(jié)，如亮度，紋理等特征，但是視覺傳感器又受天氣狀況影響，只能在天氣良好的情況下檢測和識別目標(biāo)，且探測物體距離有限，精度不高。

所以，綜上所述基于激光雷達(dá)和視覺傳感器信息融合的技術(shù)能夠整合兩種傳感器的優(yōu)點(diǎn)，既能達(dá)到探測距離遠(yuǎn)，精度高和可靠性強(qiáng)的優(yōu)點(diǎn)，同時又能準(zhǔn)確識別目標(biāo)。

發(fā)明內(nèi)容

本發(fā)明旨在解決以上現(xiàn)有技術(shù)的問題。提出了一種基于視覺和激光雷達(dá)的目標(biāo)檢測和運(yùn)動狀態(tài)估計(jì)方法。本發(fā)明的技術(shù)方案如下：

一種基于視覺和激光雷達(dá)的目標(biāo)檢測和運(yùn)動狀態(tài)估計(jì)方法，其包括以下步驟：

步驟1、安裝相機(jī)與激光雷達(dá)，并進(jìn)行兩兩雙目相機(jī)之間的標(biāo)定，以及車前左相機(jī)與激光雷達(dá)之間的聯(lián)合標(biāo)定，并將立體視覺系統(tǒng)與激光雷達(dá)各自生成的稀疏點(diǎn)云進(jìn)行融合和補(bǔ)充，構(gòu)成全局的三維點(diǎn)云圖；

步驟2、用深度學(xué)習(xí)的方法對二維圖像以及三維點(diǎn)云進(jìn)行檢測，并通過立體視覺生成的圖像目標(biāo)三維運(yùn)動狀態(tài)和激光雷達(dá)三維點(diǎn)云目標(biāo)融合，獲取綜合的目標(biāo)三維特征點(diǎn)；

步驟3、根據(jù)目標(biāo)三維特征點(diǎn)，利用卡爾曼濾波對目標(biāo)進(jìn)行跟蹤，分析其運(yùn)動狀態(tài)。

進(jìn)一步的，所述步驟1)具體包括以下步驟：

步驟2-1.采用相同的速率和統(tǒng)一坐標(biāo)系的方法，實(shí)現(xiàn)相機(jī)與激光雷達(dá)這兩種傳感器時間與空間的信息同步；

步驟2-2.根據(jù)傳感器的安裝位置，實(shí)現(xiàn)雙目之間的標(biāo)定以及相機(jī)與激光雷達(dá)之間的聯(lián)合標(biāo)定，并獲取內(nèi)參f_u、f_v、u_o、v_o以及外參R、T。其中f_u、f_v分別表示相機(jī)橫、縱焦距，u_o、v_o表示光學(xué)中心，R、T分別表示雙目相機(jī)的旋轉(zhuǎn)矩陣和平移矩陣，以上都通過標(biāo)定方法得到；

步驟2-3.根據(jù)雙目標(biāo)定獲得的內(nèi)參f_u、f_v、u_o、v_o以及外參R、T，對獲取的圖像進(jìn)行畸變矯正；