[發(fā)明專利]一種用輪式里程計(jì)-IMU和單目相機(jī)實(shí)現(xiàn)定位的方法

有效

• 申請?zhí)枺?/td>: 202011641098.0
• 申請日: 2020-12-31
• 公開（公告）號: CN112734841B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 宋高高;哀薇;熊彪
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T5/00;G06V10/75;G06V10/762;G06V10/764;G06V10/774;G06F16/29;G01C21/16
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

本發(fā)明公開了一種用輪式里程計(jì)?IMU和單目相機(jī)實(shí)現(xiàn)定位的方法，主要包括以下步驟：(1)標(biāo)定相機(jī)內(nèi)參，相機(jī)和輪式里程計(jì)外參，IMU和相機(jī)的外參；(2)從相機(jī)拍攝的圖像中選取圖像關(guān)鍵幀，同時(shí)校正圖像的畸變，然后提取特征點(diǎn)，進(jìn)行系統(tǒng)初始化，最后選擇初始化成功時(shí)的當(dāng)前幀位姿作為世界坐標(biāo)系的位姿；(3)根據(jù)車體位姿的預(yù)估值，將地圖點(diǎn)投影到平面圖像上；(4)預(yù)測車體位姿；(5)建立局部地圖；(6)根據(jù)局部地圖，建立一個(gè)關(guān)于車體的所有位姿和地圖點(diǎn)的優(yōu)化問題，然后通過光束平差法得到優(yōu)化后的位姿和地圖點(diǎn)；(7)采用詞袋(BoW)檢測回環(huán)，一旦檢測到經(jīng)過了同一個(gè)位置，就進(jìn)行回環(huán)校正。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，主要是研究的一種用輪式里程計(jì)-IMU和單目相機(jī)實(shí)現(xiàn)定位的方法。

背景技術(shù)

隨著SLAM技術(shù)的發(fā)展，地面車輛的定位導(dǎo)航開始由原來在地面鋪設(shè)一些媒介物(如磁軌、RFID等)實(shí)現(xiàn)定位，如[張辰貝西,黃志球,自動導(dǎo)航車(AGV)發(fā)展綜述[J]信息技術(shù)應(yīng)用.2010.]，現(xiàn)在逐漸地轉(zhuǎn)變?yōu)闊o軌定位的方式。由于相機(jī)的成本相對低廉，同時(shí)其拍攝的圖像能夠提供豐富的信息，所以用視覺SLAM(simultaneous?localization?andmapping)來實(shí)現(xiàn)定位導(dǎo)航越來越受到關(guān)注，也出現(xiàn)了很多視覺SLAM的方案，如基于RGB_D相機(jī)的SLAM方案RGB_D-SLAM[Engelhard?N,Endres?F,Hess?J,et?al.Real-time?3D?visualSLAM?with?a?hand-held?RGB_D?camera[C].2011.]；基于特征點(diǎn)法的SLAM方案ORB_SLAM[Murartal?R,Tardos?J?D.ORB-SLAM2:An?opensource?SLAM?system?for?monocular,stereo?and?RGB-D?cameras[J].2017.]。相關(guān)專利有申請?zhí)枮镃N201910919739.5的中國專利《基于視覺SLAM的地圖構(gòu)建的方法、導(dǎo)航系統(tǒng)及裝置》，申請?zhí)枮镃N201811318082.9的中國專利《一種基于SLAM的室內(nèi)定位方法及裝置》，但是這些方案都是只使用一個(gè)視覺傳感器-相機(jī)來實(shí)現(xiàn)，單目相機(jī)會存在尺度不確定的問題，同時(shí)在紋理較少的區(qū)域，也會出現(xiàn)跟蹤丟失的問題。所以后續(xù)出現(xiàn)了利用多個(gè)傳感器融合來解決單一傳感器缺點(diǎn)的SLAM方案，如2015年，Michael?Bloesch等提出了基于濾波的松耦合方案ROVIO[Bloesch?M,Omari?S,Hutter?M,et?al.Robust?visual?inertial?odometry?using?a?direct?EKF-basedapproach[C].2015.]。2015年Leutenegger提出了基于圖優(yōu)化的緊耦合方案OKVIS[Leutenegger?S,Lynen?S,Bosse?M,et?al.Keyframe-based?visual-inertial?odometryusing?nonlinear?optimization[J].2015.]，將IMU的誤差以全概率的形式融合到路標(biāo)的重投影誤差里，構(gòu)成將被優(yōu)化的聯(lián)合非線性誤差函數(shù)，進(jìn)而最小化從相機(jī)幀中觀察到的地標(biāo)的重投影誤差。2017年，香港科技大學(xué)沈劭劼團(tuán)隊(duì)提出了基于圖優(yōu)化的緊耦合方案VINS[Tong?Qin,Peiliang?Li,and?Shaojie?Shen.VINS-Mono:A?robust?and?versatilemonocular?visual-inertial?state?estimator[J].2017.]，考慮到優(yōu)化過程中每次迭代都要計(jì)算積分的操作太耗時(shí)了，所以VINS引入了預(yù)積分的思想，將一個(gè)時(shí)間段內(nèi)數(shù)百個(gè)慣性測量的積分結(jié)果作為一個(gè)相對運(yùn)動約束，引入了預(yù)積分的IMU模型能完美地融合到視覺－慣性的因子圖中。使得VINS成為一套具有自動初始化，在線外參標(biāo)定，重定位，閉環(huán)檢測，以及全局位姿圖優(yōu)化功能的完整SLAM系統(tǒng)。