[發(fā)明專利]一種基于相機(jī)與激光雷達(dá)的3D目標(biāo)檢測(cè)與跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011337882.2
• 申請(qǐng)日: 2020-11-25
• 公開(kāi)（公告）號(hào): CN112487919A
• 公開(kāi)（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 姜景文;朱冰;馬天飛;趙健;李波;禚凇瑀;陶曉文;孫一;姜泓屹
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06K9/46;G06K9/62
• 代理公司: 長(zhǎng)春市恒譽(yù)專利代理事務(wù)所(普通合伙) 22212
• 代理人: 鞠傳龍

1.一種基于相機(jī)與激光雷達(dá)的3D目標(biāo)檢測(cè)與跟蹤方法，其特征在于：其方法如下所述：

步驟1、標(biāo)定相機(jī)內(nèi)參及激光雷達(dá)和相機(jī)之間的外參，并通過(guò)相機(jī)和激光雷達(dá)分別采集圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)；

步驟2、利用目標(biāo)檢測(cè)算法對(duì)圖像進(jìn)行目標(biāo)檢測(cè)，提取2D檢測(cè)邊框并分配編號(hào)；

步驟3、對(duì)圖像進(jìn)行特征點(diǎn)檢測(cè)，描述子提取，以及前后兩幀圖像間的特征點(diǎn)匹配；

步驟4、對(duì)點(diǎn)云數(shù)據(jù)做數(shù)據(jù)預(yù)處理后進(jìn)行平面擬合，去除地面點(diǎn)云；

步驟5、根據(jù)激光雷達(dá)和相機(jī)的外參將非地面點(diǎn)云投影到對(duì)應(yīng)檢測(cè)圖像上；

步驟6、根據(jù)2D檢測(cè)邊框，提取對(duì)應(yīng)點(diǎn)云，并基于歐式幾何進(jìn)行聚類，去除外點(diǎn)，提取出物體3D檢測(cè)邊框；

步驟7、根據(jù)前后兩幀圖像的2D檢測(cè)邊框和特征點(diǎn)匹配結(jié)果，對(duì)兩幀圖像的檢測(cè)邊框進(jìn)行匹配關(guān)聯(lián)，并替換編號(hào)，實(shí)現(xiàn)物體跟蹤。

2.根據(jù)權(quán)利要求1所述的一種基于相機(jī)與激光雷達(dá)的3D目標(biāo)檢測(cè)與跟蹤方法，其特征在于：所述的步驟1中相機(jī)內(nèi)參標(biāo)定具體方式如下：

自制棋盤(pán)格,采用ROS系統(tǒng)或MATLAB的自帶的標(biāo)定工具箱進(jìn)行標(biāo)定，得到相機(jī)內(nèi)參矩陣K；

在標(biāo)定好相機(jī)內(nèi)參并安裝好激光雷達(dá)與相機(jī)后，以棋盤(pán)格標(biāo)定板為目標(biāo)，分別提出點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)的對(duì)應(yīng)特征點(diǎn)坐標(biāo)，采用最小化重投影誤差的優(yōu)化方式得出激光雷達(dá)和相機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣R和平移向量t。

3.根據(jù)權(quán)利要求1所述的一種基于相機(jī)與激光雷達(dá)的3D目標(biāo)檢測(cè)與跟蹤方法，其特征在于：所述的步驟2中目標(biāo)檢測(cè)算法為單階段目標(biāo)檢測(cè)算法，并采用遷移學(xué)習(xí)進(jìn)行訓(xùn)練，具體如下：

(1)、制作數(shù)據(jù)集；

(2)、對(duì)數(shù)據(jù)集中的邊框進(jìn)行聚類分析，提取先驗(yàn)框；

(3)、進(jìn)行數(shù)據(jù)增強(qiáng)，并利用目標(biāo)檢測(cè)網(wǎng)絡(luò)原通用物體檢測(cè)權(quán)重作為預(yù)訓(xùn)練權(quán)重，迭代訓(xùn)練至收斂，保存最好權(quán)重；

在原有檢測(cè)網(wǎng)絡(luò)輸出的邊框坐標(biāo)，物體類比和置信度的基礎(chǔ)上為每個(gè)檢測(cè)邊框增加追蹤編號(hào)、對(duì)應(yīng)點(diǎn)云、關(guān)鍵點(diǎn)和匹配點(diǎn)的存儲(chǔ)結(jié)構(gòu)，便于進(jìn)行匹配追蹤與點(diǎn)云聚類。

4.根據(jù)權(quán)利要求1所述的一種基于相機(jī)與激光雷達(dá)的3D目標(biāo)檢測(cè)與跟蹤方法，其特征在于：所述的步驟3中的特征點(diǎn)檢測(cè)算法和描述子提取為常用的特征點(diǎn)檢測(cè)算法和描述子提取，具體如下：

(1)、特征點(diǎn)檢測(cè)：所選算法包括但不限于HARRIS或FAST或BRISK或ORB或AKAZE和SIFT；

(2)、為提高特征點(diǎn)匹配的準(zhǔn)確程度，需要為檢測(cè)出的特征點(diǎn)增加描述子，描述子提取的方式包括但不限于BRIEF或ORB或FREAK或AKAZE和SIFT；

(3)、特征點(diǎn)匹配采用暴力匹配算法或K近鄰匹配算法。

5.根據(jù)權(quán)利要求1所述的一種基于相機(jī)與激光雷達(dá)的3D目標(biāo)檢測(cè)與跟蹤方法，其特征在于：所述的步驟4中去除地面點(diǎn)云的具體步驟如下：

(1)、設(shè)置距離閾值和最大迭代次數(shù)；

(2)、在點(diǎn)云中隨機(jī)選擇三個(gè)點(diǎn)：p1＝(x1,y1,z1)，p2＝(x2,y2,z2)，p3＝(x3,y3,z3)；

(3)、構(gòu)造平面參數(shù)，具體參數(shù)如下：

A＝(y2-y1)*(z3-z1)-(z2-z1)*(y3-y1)；

B＝(z2-z1)*(x3-x1)-(x2-x1)*(z3-z1)；

C＝(x2-x1)*(y3-y1)-(y2-y1)*(x3-x1)；

D＝-(A*x1+B*y1+c*z1)；

(4)、計(jì)算點(diǎn)p(x,y,z)到平面的距離：

d＝|Ax+By+Cz+D|/sqrt(A*A+B*B+C*C)；

(5)、在最大迭代次數(shù)之內(nèi)，根據(jù)各點(diǎn)到平面的距離，選取距離平面在距離閾值之內(nèi)的點(diǎn)最多的擬合平面作為地面擬合平面；

(6)、根據(jù)地面點(diǎn)云索引，在原始點(diǎn)云中去除屬于地面的點(diǎn)。