[發(fā)明專利]一種基于Multi-Camera/Lidar/IMU的多傳感器SLAM方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010860418.5
• 申請(qǐng)日: 2020-08-25
• 公開(kāi)（公告）號(hào): CN111983639B
• 公開(kāi)（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 楊建松;余小歡;陳嵩;白云峰;張合勇
• 申請(qǐng)（專利權(quán)）人: 浙江光珀智能科技有限公司
• 主分類號(hào): G01S17/931
• 分類號(hào): G01S17/931;G01S17/894;G01S17/86;G01C21/16;G01C22/00
• 代理公司: 杭州鈐韜知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33329
• 代理人: 唐靈;趙杰香

本發(fā)明涉及一種基于Multi?Camera/Lidar/IMU的多傳感器SLAM方法，由多目相機(jī)獲得的多張圖像數(shù)據(jù)與IMU慣性測(cè)量單元獲得的數(shù)據(jù)進(jìn)行緊耦合聯(lián)合初始化，獲得系統(tǒng)的初始位姿；由激光雷達(dá)傳感器獲得激光雷達(dá)幀的點(diǎn)云數(shù)據(jù)，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理，將點(diǎn)云劃分為強(qiáng)角點(diǎn)、弱角點(diǎn)、強(qiáng)平面點(diǎn)、弱平面點(diǎn)；通過(guò)系統(tǒng)的初始位姿對(duì)激光雷達(dá)幀位姿進(jìn)行優(yōu)化；通過(guò)閉環(huán)檢測(cè)對(duì)激光雷達(dá)幀位姿進(jìn)行進(jìn)一步優(yōu)化；利用優(yōu)化后的激光雷達(dá)幀位姿進(jìn)行地圖拼接。本發(fā)明將三種傳感器獲得的數(shù)據(jù)進(jìn)行融合，獲得了激光雷達(dá)幀位姿更加的準(zhǔn)確，有效提高了定位系統(tǒng)的魯棒性、穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)、機(jī)器人等技術(shù)領(lǐng)域，具體涉及一種基于Multi-Camera/Lidar/IMU的多傳感器SLAM方法。

背景技術(shù)

近些年，無(wú)人駕駛行業(yè)又逐漸走進(jìn)大眾視野。SLAM可以使移動(dòng)車輛在GPS無(wú)法正常工作的環(huán)境下實(shí)現(xiàn)定位，并追蹤辨識(shí)動(dòng)態(tài)車輛與行人為實(shí)現(xiàn)智能避障，輔助駕駛和自主導(dǎo)航提供可能。

在進(jìn)行定位和構(gòu)圖的時(shí)候，SLAM主要是借助與傳感器來(lái)獲得原始的數(shù)據(jù)，同時(shí)會(huì)伴有IMU的輔助。在現(xiàn)有發(fā)展的情況下，SLAM有兩種實(shí)現(xiàn)形式：一種是以激光雷達(dá)為主的激光SLAM；另一種是以攝像頭為主的視覺(jué)SLAM。激光SLAM目前主要應(yīng)用在室內(nèi)以及范圍較小的環(huán)境。視覺(jué)SLAM要廣泛，也更能適應(yīng)室外環(huán)境，但是對(duì)光的依賴性強(qiáng)，在光線暗或是無(wú)紋理區(qū)域無(wú)法工作。

隨著無(wú)人駕駛的迅速發(fā)展，為了適應(yīng)市場(chǎng)環(huán)境，無(wú)人駕駛的使用場(chǎng)景越來(lái)越豐富，既要適應(yīng)室內(nèi)環(huán)境，又要適應(yīng)室外環(huán)境；室內(nèi)結(jié)構(gòu)化環(huán)境較為理想；室外光照變化劇烈，車輛行人等動(dòng)態(tài)目標(biāo)較多，重復(fù)及雜亂紋理場(chǎng)景較多，給無(wú)人駕駛的量產(chǎn)落地帶來(lái)巨大挑戰(zhàn)。因此使用單一傳感器進(jìn)行定位構(gòu)圖的方式已無(wú)法滿足復(fù)雜場(chǎng)景下高精度地圖的構(gòu)建需求。

所以有必要提出一種新的方案，將多種傳感器數(shù)據(jù)以進(jìn)行融合，以解決室外復(fù)雜環(huán)境下環(huán)境地圖的構(gòu)建問(wèn)題。

發(fā)明內(nèi)容

針對(duì)目前單一的傳感器無(wú)法滿足室外復(fù)雜的環(huán)境場(chǎng)景，本發(fā)明提出了一種一種基于Multi-Cameral/Lidar/IMU的多傳感器SLAM方法。

本發(fā)明提出一種基于Multi-Camera/Lidar/IMU的多傳感器SLAM方法，包括以下步驟：

S1：由多目相機(jī)獲得的多張圖像數(shù)據(jù)與IMU慣性測(cè)量單元獲得的數(shù)據(jù)進(jìn)行緊耦合聯(lián)合初始化，獲得系統(tǒng)的初始位姿；

S2:由激光雷達(dá)傳感器獲得激光雷達(dá)幀的點(diǎn)云數(shù)據(jù)，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理，將點(diǎn)云劃分為強(qiáng)角點(diǎn)、弱角點(diǎn)、強(qiáng)平面點(diǎn)、弱平面點(diǎn)；

S3:通過(guò)系統(tǒng)的初始位姿對(duì)激光雷達(dá)幀位姿進(jìn)行優(yōu)化；

S4：通過(guò)閉環(huán)檢測(cè)對(duì)激光雷達(dá)幀位姿進(jìn)行進(jìn)一步優(yōu)化；

S5：利用優(yōu)化后的激光雷達(dá)幀位姿進(jìn)行地圖拼接。

優(yōu)選的，獲得系統(tǒng)的初始化位姿包括如下步驟：

S11：通過(guò)樹莓派進(jìn)行多目相機(jī)的硬同步觸發(fā)；

S12：從多目相機(jī)中獲得多目圖像與IMU數(shù)據(jù)，通過(guò)時(shí)間戳將多目圖像數(shù)據(jù)與IMU數(shù)據(jù)進(jìn)行對(duì)齊；

S13：多線程進(jìn)行多目圖像的視覺(jué)特征跟蹤，并將跟蹤的結(jié)果進(jìn)行保存；

S14：對(duì)多目圖像數(shù)據(jù)以及IMU數(shù)據(jù)進(jìn)行預(yù)處理；

S15：對(duì)多目圖像數(shù)據(jù)以及IMU數(shù)據(jù)進(jìn)行聯(lián)合初始化，將多目相機(jī)獲得多張圖像信息分別與IMU數(shù)據(jù)進(jìn)行緊耦合處理，將處理得到的數(shù)據(jù)再一次和IMU數(shù)據(jù)進(jìn)行緊耦合處理，得到多目的緊耦合視覺(jué)慣性里程計(jì)；

S16：對(duì)多目的緊耦合視覺(jué)慣性里程計(jì)進(jìn)行優(yōu)化，同時(shí)進(jìn)行邊緣化處理；