[發(fā)明專利]一種單目相機和激光雷達信息融合的無人艇水面目標檢測識別與定位方法

有效

• 申請?zhí)枺?/td>: 201811217208.3
• 申請日: 2018-10-18
• 公開（公告）號: CN109444911B
• 公開（公告）日: 2023-05-05
• 發(fā)明（設(shè)計）人: 王博;張偉;江坤頤;廖煜雷;李曄;封佳祥;蘇廣勝;周斌;袁志豪;楊士遠;張磊;蘇玉民;賈知浩
• 申請（專利權(quán)）人: 哈爾濱工程大學
• 主分類號: G01S17/48
• 分類號: G01S17/48;G01S17/58;G01C11/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于智能無人智慧船舶領(lǐng)域，具體涉及一種單目相機和激光雷達信息融合的無人艇水面目標檢測識別與定位方法。針對無人艇對水面目標檢測識別及定位受距離、目標波動的影響，本發(fā)明融合激光雷達和相機對感知范圍內(nèi)的目標進行準確檢測識別及定位。首先利用采集到的水面目標圖像訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的目標檢測識別模型；然后激光雷達使用條件移除濾波器和歐氏聚類得到水面目標在世界坐標系下的位置；最后，設(shè)計了相機圖片信息和激光雷達點云信息融合方法，使其對不確定性因素具有較高的魯棒性。本發(fā)明能夠使無人艇具備對水面目標準確檢測識別定位的能力，為無人艇的目標跟蹤，路徑規(guī)劃和自主航行提供良好的環(huán)境感知，應(yīng)用前景廣闊。

技術(shù)領(lǐng)域

本發(fā)明屬于智能無人智慧船舶領(lǐng)域，具體涉及一種單目相機和激光雷達信息融合的無人艇水面目標檢測識別與定位方法。

背景技術(shù)

無人艇是在水面航行的智能化平臺，由于無人艇所處的水面環(huán)境十分復(fù)雜，所以無人艇對周圍環(huán)境信息的感知十分重要。因此，如何提高無人艇環(huán)境感知的能力是現(xiàn)在研究熱點，在己有的文獻中，許多學者通過視覺感知、雷達感知及多傳感器感知信息融合等方法對無人艇的環(huán)境感知進行了研究。但是這些方法都有一定的局限性，對環(huán)境的自適應(yīng)性較低。

華中科技大學工業(yè)技術(shù)研究院馬杰等將激光雷達掃描到的三維目標點云和非目標點云進行降維處理，投影到二維XY柵格平面；隨后進行聚類處理，提取每個目標位置信息，得到目標樣本集，訓(xùn)練識別函數(shù)對水面物體進行識別。缺點是數(shù)據(jù)集采集困難，實時性不強。且無法識別形狀相似的物體，識別精度無法保證。

東南大學龐成利用毫米波雷達和視覺數(shù)據(jù)融合進行平直公路前方車輛檢測，采用生命周期算法進行有效目標決策，在實驗中成功檢測到前方最近車輛信息。但是只針對危險目標的單目標檢測算法不利于獲取完整的周邊環(huán)境信息。

吉林大學曲昭偉等使用SICK?LMS211-S14激光雷達與CCD攝像機進行數(shù)據(jù)融合，結(jié)合單線雷達下行人的物理屬性與攝像機圖像梯度方向直方圖特征進行實時行人檢測，得到較準確的實驗結(jié)果。但是基于行人腿部單線點云特征的算法精度太低，容易出現(xiàn)漏檢、誤檢等錯誤。

北京理工大學王寶峰等根據(jù)雷達信息確定圖像坐標系中車輛感興趣區(qū)域，隨后根據(jù)對稱性分析，逆透視變換驗證識別結(jié)果，具有較強的環(huán)境適應(yīng)性和準確率。但是其根據(jù)速度與相對位置關(guān)系處理雷達數(shù)據(jù)的算法無法檢測靜止車輛等物體，且其融合算法在前方有多個物體時計算精度較差。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種用于無人艇在水面航行時對周圍目標信息感知的單目相機和激光雷達信息融合的無人艇水面目標檢測識別與定位方法。

一種單目相機和激光雷達信息融合的無人艇水面目標檢測識別與定位方法，具體包括如下步驟：

步驟1、根據(jù)張正友標定法和S₀m＝K[R,T]X，對相機和激光雷達進行標定，求取X外參矩陣，其中S₀為尺度因子，K為攝像機內(nèi)參,R為旋轉(zhuǎn)矩陣，T為平移向量；

步驟2、收集圖像數(shù)據(jù)，利用無人艇攜帶的相機采集視頻資料，用標注工具對材料進行標注，生成滿足卷積神經(jīng)網(wǎng)輸入數(shù)據(jù)集的格式；

步驟3、將數(shù)據(jù)集處理輸入到卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)過訓(xùn)練測試，篩選得到準確率最高的最優(yōu)模型；

步驟4、使用直通濾波器將激光雷達采樣范圍限制在無人艇前方左舷和右舷各45度的范圍內(nèi)；

步驟5、使用條件移除濾波器刪除輸入點云中不滿足聚類要求的所有散亂數(shù)據(jù)點；

步驟6、將過濾后的點云數(shù)據(jù)輸入Kd-Tree中以簡化計算；

步驟7、使用歐氏聚類分割出目標物體；

步驟8、提取物體的特征點，經(jīng)外參矩陣和相機內(nèi)參矩陣轉(zhuǎn)換，將三維深度點云數(shù)據(jù)投影至二維相機圖像平面中，進行數(shù)據(jù)融合操作；