[發明專利]一種單目相機和激光雷達信息融合的無人艇水面目標檢測識別與定位方法

有效

• 申請號: 201811217208.3
• 申請日: 2018-10-18
• 公開（公告）號: CN109444911B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 王博;張偉;江坤頤;廖煜雷;李曄;封佳祥;蘇廣勝;周斌;袁志豪;楊士遠;張磊;蘇玉民;賈知浩
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G01S17/48
• 分類號: G01S17/48;G01S17/58;G01C11/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種單目相機和激光雷達信息融合的無人艇水面目標檢測識別與定位方法，其特征在于，具體包括如下步驟：

步驟1、根據張正友標定法和S₀m＝K[R,T]X，對相機和激光雷達進行標定，求取X外參矩陣，其中S₀為尺度因子，K為攝像機內參,R為旋轉矩陣，T為平移向量；

步驟2、收集圖像數據，利用無人艇攜帶的相機采集視頻資料，用標注工具對材料進行標注，生成滿足卷積神經網輸入數據集的格式；

步驟3、將數據集處理輸入到卷積神經網絡中，經過訓練測試，篩選得到準確率最高的最優模型；

步驟4、使用直通濾波器將激光雷達采樣范圍限制在無人艇前方左舷和右舷各45度的范圍內；

步驟5、使用條件移除濾波器刪除輸入點云中不滿足聚類要求的所有散亂數據點；

步驟6、將過濾后的點云數據輸入Kd-Tree中以簡化計算；Kd-Tree是一種高維索引樹形數據結構；

步驟7、使用歐氏聚類分割出目標物體；

步驟8、提取物體的特征點，經外參矩陣和相機內參矩陣轉換，將三維深度點云數據投影至二維相機圖像平面中，進行數據融合操作；

步驟9、將準確率最高的訓練模型導入無人艇攜帶的視覺模塊中，根據攜帶的相機實時獲取畫面，并對畫面中目標的種類進行檢測和識別，輸出置信度和目標位置矩形框的坐標；

步驟10、將激光雷達聚類完成的點簇投影到二維相機平面上，計算點簇中心點并設置點簇中心圓，計算每個點簇中心圓與矩形的重疊度；

步驟11、根據計算出來的重疊度，進行分類判斷，最后輸出該目標的實際位置、類別及判斷的置信度。

2.根據權利要求1所述一種單目相機和激光雷達信息融合的無人艇水面目標檢測識別與定位方法，其特征在于：步驟2中所述相機對水面圖像進行實時采集和視頻資料錄制，為圖像目標檢測提供實時的水面圖像。

3.根據權利要求1所述一種單目相機和激光雷達信息融合的無人艇水面目標檢測識別與定位方法，其特征在于：步驟4中所述激光雷達通過向目標發射探測信號即激光束,然后將接收到的從目標反射回來的信號即目標回波與發射信號進行比較,作適當處理,就可獲得水面目標的三維信息，包括目標距離、方位、高度、速度、姿態。

4.根據權利要求1所述一種單目相機和激光雷達信息融合的無人艇水面目標檢測識別與定位方法，其特征在于：所述數據集處理具體是用神經網絡訓練的模型對圖片進行目標檢測識別，將激光雷達返回的目標回波信息進行濾波和聚合處理，得到水面目標的點云信息，最后將圖片目標檢測框和點云信息融合，得出融合目標的位置、類別信息。