[發(fā)明專(zhuān)利]一種基于視覺(jué)與激光雷達(dá)融合的前向列車(chē)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010517633.5
• 申請(qǐng)日: 2020-06-09
• 公開(kāi)（公告）號(hào): CN111832410B
• 公開(kāi)（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 余貴珍;王章宇;周彬;黃嘉慧;王朋成
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京航空航天大學(xué)
• 主分類(lèi)號(hào): G06V20/58
• 分類(lèi)號(hào): G06V20/58;G06V20/40;G06V10/762;G06T7/80;G01S17/08;G01S17/931
• 代理公司: 北京航智知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11668
• 代理人: 陳磊;張楨

1.一種基于視覺(jué)與激光雷達(dá)融合的前向列車(chē)檢測(cè)方法，其特征在于，在列車(chē)車(chē)頭前擋風(fēng)玻璃處安裝相機(jī)和激光雷達(dá)，所述檢測(cè)方法包括以下步驟：

S1：獲取同步數(shù)據(jù)；

列車(chē)運(yùn)行時(shí)實(shí)時(shí)采集圖像與激光雷達(dá)數(shù)據(jù)，從獲取的圖像和激光雷達(dá)數(shù)據(jù)的時(shí)間戳中選取相機(jī)和激光雷達(dá)時(shí)間戳最近的兩幀數(shù)據(jù)作為同步數(shù)據(jù)；

S2：在圖像中通過(guò)深度學(xué)習(xí)融合算法對(duì)圖像進(jìn)行列車(chē)識(shí)別，確定圖像中是否存在列車(chē)，圖像中存在列車(chē)則輸出列車(chē)檢測(cè)框并進(jìn)行步驟S3，圖像中不存在列車(chē)則進(jìn)行下一幀檢測(cè)；

S3：對(duì)激光雷達(dá)與相機(jī)進(jìn)行內(nèi)外參標(biāo)定，將激光雷達(dá)數(shù)據(jù)映射至圖像中，獲取融合數(shù)據(jù)；

S4：在融合數(shù)據(jù)中判斷激光雷達(dá)點(diǎn)是否映射至圖像檢測(cè)的列車(chē)框中，提取列車(chē)框內(nèi)的激光雷達(dá)點(diǎn)；具體步驟如下：對(duì)映射至圖像中的激光雷達(dá)點(diǎn)逐點(diǎn)判斷，判斷每個(gè)點(diǎn)是否在圖像檢測(cè)的列車(chē)矩形框內(nèi)，若在矩形框內(nèi)則記錄激光雷達(dá)點(diǎn)的索引，并在圖像中將列車(chē)框內(nèi)的激光雷達(dá)點(diǎn)標(biāo)記為白色；

S5：對(duì)列車(chē)框內(nèi)激光雷達(dá)點(diǎn)自適應(yīng)聚類(lèi)，獲取前向列車(chē)距離；

S5-1：將列車(chē)框內(nèi)的激光雷達(dá)點(diǎn)與本車(chē)的距離進(jìn)行排序；

S5-2：設(shè)置一個(gè)聚類(lèi)簇，將第一個(gè)激光雷達(dá)點(diǎn)放置于聚類(lèi)簇中，依次計(jì)算剩下所有激光雷達(dá)點(diǎn)與第一個(gè)點(diǎn)的距離，若小于設(shè)定的閾值，則將該激光雷達(dá)點(diǎn)放置于第一個(gè)聚類(lèi)簇中，并更新該聚類(lèi)簇中激光雷達(dá)點(diǎn)的個(gè)數(shù)，同時(shí)將被放置的激光雷達(dá)點(diǎn)與本車(chē)的距離設(shè)置為0，避免后續(xù)的重復(fù)計(jì)算；

S5-3：若激光雷達(dá)點(diǎn)與聚類(lèi)簇中放置的激光雷達(dá)點(diǎn)的距離大于設(shè)定的閾值，則設(shè)置一個(gè)新的聚類(lèi)簇，并重復(fù)步驟S5-2直到列車(chē)框內(nèi)所有的激光雷達(dá)點(diǎn)均被分配到一個(gè)聚類(lèi)簇中；

S5-4：選取含有激光雷達(dá)點(diǎn)個(gè)數(shù)最多的聚類(lèi)簇為列車(chē)的真實(shí)激光雷達(dá)點(diǎn)，計(jì)算聚類(lèi)簇中激光雷達(dá)點(diǎn)的距離平均值，此平均值即為列車(chē)的真實(shí)距離。

2.根據(jù)權(quán)利要求1所述的一種基于視覺(jué)與激光雷達(dá)融合的前向列車(chē)檢測(cè)方法，其特征在于，所述步驟S2包括圖像目標(biāo)檢測(cè)與圖像分類(lèi)，具體地：

S2-1：采集列車(chē)運(yùn)行線(xiàn)路中的視頻數(shù)據(jù)，并從中截取包含有列車(chē)的圖片，基于截取的圖片進(jìn)行標(biāo)注；圖像檢測(cè)模型標(biāo)注需要標(biāo)注出圖像中列車(chē)框的像素大小以及像素位置；圖像分類(lèi)模型標(biāo)注需要在圖像中隨機(jī)摳取矩形框，其中部分框包含列車(chē)，部分框不包含列車(chē)，基于摳取的矩形框進(jìn)一步分為包含列車(chē)的樣本和不包含列車(chē)的樣本；

S2-2：選取圖像目標(biāo)檢測(cè)模型為centernet，選取圖像分類(lèi)模型為mobilenetV2；

S2-3：基于步驟S2-1標(biāo)注的樣本對(duì)步驟S2-2選取的模型進(jìn)行訓(xùn)練，生成模型文件；

S2-4：基于步驟S2-3生成的模型進(jìn)行列車(chē)檢測(cè)及分類(lèi)，輸出列車(chē)檢測(cè)框。