[發(fā)明專利]一種基于雙目相機與慣導傳感器信息融合的定位方法有效
| 申請?zhí)枺?/td> | 202110245725.7 | 申請日： | 2021-03-05 |
| 公開（公告）號： | CN113012196B | 公開（公告）日： | 2023-03-24 |
| 發(fā)明（設(shè)計）人： | 李奎霖;魏武;曾錦秀;肖文煜 | 申請（專利權(quán)）人： | 華南理工大學 |
| 主分類號： | G06T7/246 | 分類號： | G06T7/246;G06T7/73;G06V10/771;G06F18/25;G01C21/16;G01C21/18;G01C21/34 |
| 代理公司： | 廣州粵高專利商標代理有限公司 44102 | 代理人： | 何淑珍;江裕強 |
| 地址： | 510640 廣*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 雙目 相機 傳感器 信息 融合 定位 方法 | ||
本發(fā)明公開了一種基于雙目相機與慣導傳感器信息融合的定位方法，包括以下步驟：采集機器人周邊圖像序列；對獲取的圖像幀，使用FAST特征點提取算法，并引入四叉樹快速篩選特征點；對獲取的圖像幀，使用LSD線特征提取算法提取線特征，使用LBD算法計算線特征描述子；針對前后圖像幀提取的FAST特征點進行跟蹤匹配，獲取幀間估計位姿，將前后幀中的點、線特征重投影到當前幀，對線特征進行跟蹤匹配；確認當前幀是否為關(guān)鍵幀，若是則獲取前后幀間IMU傳感器數(shù)據(jù)，并對其進行預積分，同時將當前幀加入滑動窗口；結(jié)合滑窗內(nèi)已配對的點線特征約束與IMU預積分緊耦合進行后端優(yōu)化，輸出較為準確的幀間運動位姿。
技術(shù)領(lǐng)域
本發(fā)明涉及機器視覺與定位導航技術(shù)領(lǐng)域，具體涉及一種基于雙目相機與慣導傳感器信息融合的定位方法。
背景技術(shù)
智能機器人依靠豐富的傳感器感知環(huán)境信息，并將相關(guān)的環(huán)境信息用于算法級的融合，得到有關(guān)機器人自身狀態(tài)和周圍環(huán)境的綜合信息，進而作為控制決策的輸入。而相機采集的圖像信息豐富可以提高重定位精度，但相機頻率較低，受光照和物體表面紋理影響較大；IMU短時間雖然可以高頻率測量機器人的位姿，但漂移嚴重，需要其他傳感器輔助校正才能繼續(xù)工作。因此基于多傳感器融合的即時定位算法綜合利用了多種傳感器的優(yōu)點，可在智能機器人上實現(xiàn)高精度與高魯棒性位姿確定與地圖構(gòu)建。
現(xiàn)有的以點特征為主的視覺定位系統(tǒng)主雖然在紋理豐富的特定場景能夠完成即時定位，但是室內(nèi)環(huán)境下，通常存在弱紋理區(qū)域，如走廊通道里大面積的白墻。且小區(qū)域范圍的通道內(nèi)可能光線變化劇烈。這些真實存在的場景條件都將導致基于點特征的視覺定位技術(shù)無法正常工作。而慣性測量單元(IMU)集成了陀螺儀和線加速度計部件，對大尺度運動狀態(tài)有很強的適應性，能較高頻率地輸出角速度和線加速度，對其積分可獲取機器人實時運動位姿變換，但仍存在累積誤差和尺度漂移問題，因此視覺信息與IMU信息具有很強的互補性，視覺位姿約束可以校正IMU漂移，而IMU可以為單目視覺提供絕對尺度信息。盡管如此，單目視覺初始化對環(huán)境和相機運動要求嚴格，如果環(huán)境紋理信息較少、相機運動過小或者過大都容易導致初始化失敗。
發(fā)明內(nèi)容
本發(fā)明的目的是在節(jié)省成本且保證可靠的前提下，提供了一種基于雙目相機與慣導傳感器信息融合的定位方法，提出應用IMU數(shù)據(jù)與視覺點線特征緊耦合的機制進行室內(nèi)機器人視覺定位，實現(xiàn)機器人在復雜環(huán)境中準確快速的位姿解算。
本發(fā)明至少通過如下技術(shù)方案之一實現(xiàn)。
一種基于雙目相機與慣導傳感器信息融合的定位方法，包括以下步驟：
步驟S1、采集機器人周邊圖像序列；
步驟S2、對獲取的圖像幀，使用改進后的FAST特征點提取算法，并引入四叉樹快速篩選特征點，使得FAST特征點分均勻分布；
步驟S3、提取圖像幀的線特征，計算線特征描述子；
步驟S4、對前后圖像幀提取的FAST特征點進行跟蹤匹配，獲取幀間估計位姿，再由該估計位姿，將前后幀中的點、線特征重投影到當前幀，并對線特征進行跟蹤匹配；
步驟S5、確認當前幀是否為關(guān)鍵幀，若非關(guān)鍵幀則丟棄當前幀，并把其視覺信息與IMU預積分信息暫存?zhèn)鬟f給下一幀；
步驟S6、將當前幀加入滑動窗口，結(jié)合滑窗內(nèi)已配對的點線特征約束與IMU預積分緊耦合進行后端優(yōu)化，輸出幀間運動位姿。
優(yōu)選的，所述改進后的FAST特征點提取算法具體為：根據(jù)圖像大小劃分網(wǎng)格；遍歷每個網(wǎng)格，在每個網(wǎng)格上提取FAST特征點，將圖像視為一個N叉樹根節(jié)點，即N等分，如果根節(jié)點特征點個數(shù)大于1，則把該節(jié)點迭代等分生成四個子節(jié)點，迭代終止條件為當某個子節(jié)點內(nèi)只含一個特征點或不含特征點；最終選取的特征點即為最優(yōu)。
優(yōu)選的，步驟S3具體是使用LSD線特征提取算法提取線特征，并使用LBD算法計算線特征描述子。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于華南理工大學，未經(jīng)華南理工大學許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110245725.7/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
