[發明專利]一種基于多類型相機的SLAM融合方法及其系統

有效

• 申請號: 201910815175.0
• 申請日: 2019-08-30
• 公開（公告）號: CN110517216B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 馬鑫軍
• 申請（專利權）人: 的盧技術有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/80
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 王曉東

本發明公開了一種基于多類型相機的SLAM融合方法及其系統，包括以下步驟，在車身前側分別安裝多類型的攝像機模塊；對所述攝像機模塊進行相機標定；所述攝像機模塊采集圖像信息并對其采集的圖像進行矯正和ORB特征點的抽取、深度圖的計算以及將采集的彩色圖與深度圖對齊；所述硬件同步模塊將所述攝像機模塊采集的不同類型圖像信息在時間戳上同步；SLAM融合模塊將所述攝像機模塊采集的不同類型圖像進行圖像融合進行車載顯示。本發明的有益效果：將輔助用的相機的信息投射到主用的相機中，從而能提高整個系統的魯棒性，解決單種類相機的使用瓶頸方案硬件成本低。

技術領域

本發明涉及以視覺為主圖像采集融合技術領域，尤其涉及一種基于多類型相機的SLAM融合方法及其系統。

背景技術

在車輛高級駕駛輔助系統中，定位和建圖是不可缺少的技術，比如在弱GPS或者無GPS時車輛需要依賴SLAM技術導航和路徑規劃。高級駕駛輔助系統是利用安裝在車上的各式各樣傳感器，如毫米波雷達、激光雷達、單\雙目攝像頭以及衛星導航，在汽車行駛過程中隨時來感應周圍的環境，收集數據，進行靜態、動態物體的辨識、偵測與追蹤，并結合導航儀地圖數據，進行系統的運算與分析，從而預先讓駕駛者察覺到可能發生的危險，有效增加汽車駕駛的舒適性和安全性。

目前普遍采集視覺+激光雷達的方式，但是激光雷達價格昂貴，成本比較高，而視覺傳感器利用相機感知周圍環境，能夠提供距離和豐富的外觀信息。基于以視覺為主的方式，單目SLAM無法直接測量距離，雙目SLAM需要大量的計算單元去計算深度，RGB-D?SLAM使用場景有限，目前僅適用于室內近距離的感知。

發明內容

本部分的目的在于概述本發明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發明名稱的目的模糊，而這種簡化或省略不能用于限制本發明的范圍。

鑒于上述現有存在的問題，提出了本發明。

因此，本發明解決的技術問題是：解決單種類相機的應用限制，以及提高整個系統的魯棒性。

為解決上述技術問題，本發明提供如下技術方案：一種基于多類型相機的SLAM融合方法，包括以下步驟，在車身前側分別安裝多類型的攝像機模塊；對所述攝像機模塊進行相機標定；所述攝像機模塊采集圖像信息并對其采集的圖像進行矯正和ORB特征點的抽取、深度圖的計算以及將采集的彩色圖與深度圖對齊；所述硬件同步模塊將所述攝像機模塊采集的不同類型圖像信息在時間戳上同步；SLAM融合模塊將所述攝像機模塊采集的不同類型圖像進行圖像融合進行車載顯示。

作為本發明所述的基于多類型相機的SLAM融合方法的一種優選方案，其中：所述攝像機模塊還包括單目相機模塊、雙目相機模塊、RGB-D相機模塊。

作為本發明所述的基于多類型相機的SLAM融合方法的一種優選方案，其中：所述單目相機模塊采集圖像信息并對其采集的圖像進行矯正和ORB特征點的抽取，同時所述雙目相機模塊對其采集的圖像進行深度圖的計算，同時所述RGB-D相機模塊將其采集的彩色圖與深度圖對齊。

作為本發明所述的基于多類型相機的SLAM融合方法的一種優選方案，其中：所述相機標定包括同時標定相機的內外參和相機相對于車載坐標系的變換矩陣，多相機之前的變換關系通過相機對車載坐標系的變換矩陣推算得出。

作為本發明所述的基于多類型相機的SLAM融合方法的一種優選方案，其中：所述相機相對于車載坐標系的變換矩陣獲取包括如下步驟，標定攝像機模塊并將所述攝像機模塊設置于車身的預設目標位置上；在預設拍攝位置上放置原始標定圖案；利用所述攝像機模塊拍攝所述原始標定圖案得到所述拍攝圖像；對所述拍攝圖像進行預處理，獲取所述拍攝圖像的像素坐標與參照坐標系間的坐標變換關系。