[發(fā)明專利]一種基于多類型相機的SLAM融合方法及其系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910815175.0
• 申請日: 2019-08-30
• 公開（公告）號: CN110517216B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設計）人: 馬鑫軍
• 申請（專利權）人: 的盧技術有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/80
• 代理公司: 南京禹為知識產(chǎn)權代理事務所(特殊普通合伙) 32272
• 代理人: 王曉東

1.一種基于多類型相機的SLAM融合方法，其特征在于：包括，

在車身前側(cè)分別安裝多類型的攝像機模塊(100)；

對所述攝像機模塊(100)進行相機標定；

所述相機標定包括同時標定相機的內(nèi)外參和相機相對于車載坐標系的變換矩陣，多相機之前的變換關系通過相機對車載坐標系的變換矩陣推算得出；

所述變換矩陣推算包括以下步驟，

標定所述攝像機模塊(100)并獲取其標定數(shù)據(jù)；

拍攝圖像(600)根據(jù)所述標定數(shù)據(jù)進行畸變校正，獲得消除畸變圖像并求出畸變校正的圖像變換映射E₁；

利用所述消除畸變圖像中標定圖案的特征點獲取像素坐標；

利用所述像素坐標和原始標定圖案(500)的位置坐標求出透視變換矩陣E₂，且所述位置坐標相對于車身坐標系O₁；

定義拍攝圖像(600)的像素坐標與所述車身坐標系O₁的變換關系為E＝E₂·E₁所述攝像機模塊(100)采集圖像信息并對其采集的圖像進行矯正和ORB特征點的抽取、深度圖的計算以及將采集的彩色圖與深度圖對齊；

硬件同步模塊(200)將所述攝像機模塊(100)采集的不同類型圖像信息在時間戳上同步；

硬件同步模塊(200)包括單片機模塊(201)、GPS時間接收機(202)和RTC芯片；

所述單片機模塊(201)時間信息接收模塊接收所述GPS時間接收機(202)的時間信息和時間脈沖；所述RTC芯片與所述單片機模塊(201)內(nèi)的RTC模塊連接；相機反饋信號連接所述單片機模塊(201)的反饋信號檢測模塊；

SLAM融合模塊(300)將所述攝像機模塊(100)采集的不同類型圖像進行圖像融合進行車載顯示；

所述SLAM融合包括以下步驟，

根據(jù)實時所處的場景的環(huán)境因數(shù)，決策單元選擇合適的相機作為當前場景下的主使用相機；

將其它相機的特征點通過變換矩陣計算出在當前主使用相機的圖像坐標點，并以所述圖像坐標點為坐標原點；

固定半徑范圍內(nèi)搜索得出距離最短的特征點，濾出超出一定距離閾值的外點，輸出更加可靠的特征點。

2.如權利要求1所述的基于多類型相機的SLAM融合方法，其特征在于：所述攝像機模塊(100)還包括單目相機模塊(101)、雙目相機模塊(102)、RGB-D相機模塊(103)。

3.如權利要求2所述的基于多類型相機的SLAM融合方法，其特征在于：所述單目相機模塊(101)采集圖像信息并對其采集的圖像進行矯正和ORB特征點的抽取，同時所述雙目相機模塊(102)對其采集的圖像進行深度圖的計算，同時所述RGB-D相機模塊(103)將其采集的彩色圖與深度圖對齊。

4.如權利要求1所述的基于多類型相機的SLAM融合方法，其特征在于：所述相機相對于車載坐標系的變換矩陣獲取包括如下步驟，

標定攝像機模塊(100)并將所述攝像機模塊(100)設置于車身(400)的預設目標位置上；

在預設拍攝位置上放置原始標定圖案(500)；

利用所述攝像機模塊(100)拍攝所述原始標定圖案(500)得到所述拍攝圖像(600)；

對所述拍攝圖像(600)進行預處理，獲取所述拍攝圖像(600)的像素坐標與參照坐標系間的坐標變換關系。

5.如權利要求4所述一種基于多類型相機的SLAM融合方法，其特征在于：定義所述參照坐標系包括以下步驟，

選取所述車身(400)上的任一位置為原點O；

根據(jù)所述原點O定義車身坐標系O₁為所述參照坐標系。

6.一種采用如權利要求1～5任一所述的基于多類型相機的SLAM融合方法的系統(tǒng)，其特征在于：包括攝像機模塊(100)、硬件同步模塊(200)和SLAM融合模塊(300)；

所述攝像機模塊(100)設置于車身(400)且與水平面平行的多類型相機，還包括單目相機模塊(101)、雙目相機模塊(102)、RGB-D相機模塊(103)；

所述硬件同步模塊(200)用于所述單目相機模塊(101)、所述雙目相機模塊(102)和所述RGB-D相機模塊(103)在時間戳上的同步；

所述SLAM融合模塊(300)將所述攝像機模塊(100)采集的多類型圖像信息進行融合并與車載顯示器進行顯示。