[發(fā)明專利]一種基于BNN的稠密雙目SLAM方法

有效

• 申請?zhí)枺?/td>: 202010627927.3
• 申請日: 2020-07-02
• 公開（公告）號: CN111998862B
• 公開（公告）日: 2023-05-16
• 發(fā)明（設(shè)計(jì)）人: 陳剛;吳志慧
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G01C21/32
• 分類號: G01C21/32;G06N3/0464;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 陳偉斌

本發(fā)明涉及一種基于BNN的稠密雙目SLAM方法，包括如下步驟：步驟一：對經(jīng)過矯正后輸入的左圖，提取ORB特征；步驟二：獲取左圖深度圖；步驟三：獲取左圖ORB特征點(diǎn)深度；步驟四：估計(jì)當(dāng)前相機(jī)運(yùn)動姿態(tài)；步驟五：生成關(guān)鍵幀，并通過關(guān)鍵幀進(jìn)行局部建圖；步驟六：建立稠密地圖；步驟七：回環(huán)檢測與回環(huán)矯正。本發(fā)明使用BNN實(shí)現(xiàn)雙目匹配，提高了匹配精度和匹配速度，從而提高定位精度和建圖的速度，不但克服了特征法視覺SLAM不能建立稠密地圖的問題，還實(shí)現(xiàn)了稠密地圖的實(shí)時(shí)建圖，使得特征法視覺SLAM能夠?qū)嶋H應(yīng)用。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器人同時(shí)定位與地圖創(chuàng)建領(lǐng)域，更具體地，涉及一種基于BNN的稠密雙目SLAM方法。

背景技術(shù)

同時(shí)定位與地圖創(chuàng)建(Simultaneous?Localization?and?Mapping,SLAM)是指移動機(jī)器人在未知環(huán)境中，通過所搭載的傳感器，在運(yùn)動中估計(jì)自身的運(yùn)動，同時(shí)建立環(huán)境地圖。

視覺SLAM可以分為兩種：特征法和直接法。特征法的視覺SLAM方法需要提取圖像特征點(diǎn)，可以創(chuàng)建稀疏地圖；特征法視覺SLAM對光照、劇烈運(yùn)動的魯棒性較好，但是在無紋理的場景中表現(xiàn)較差，且建立的稀疏地圖基本不能進(jìn)一步用來如避障、運(yùn)動規(guī)劃等任務(wù)。

對于雙目特征法視覺SLAM，一般包含雙目匹配的過程。傳統(tǒng)雙目匹配方法計(jì)算量大，且準(zhǔn)確度低。申請?zhí)枮椤癈N201811416964.9”專利公布文件中公開了一種基于雙目視覺和卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人定位系統(tǒng)及方法，其中公開了采用卷積神經(jīng)網(wǎng)絡(luò)提高雙目匹配的精度，從而更好地獲取更準(zhǔn)確的數(shù)據(jù)建立稠密地圖，但是采用卷積神經(jīng)網(wǎng)絡(luò)仍然導(dǎo)致雙目匹配的計(jì)算量大，實(shí)時(shí)性較差，不能實(shí)時(shí)建立稠密地圖，導(dǎo)致其難以在實(shí)際中應(yīng)用。

發(fā)明內(nèi)容

本發(fā)明為克服上述現(xiàn)有技術(shù)中雙目特征法視覺SLAM方法雙目匹配精度低、難以實(shí)時(shí)建立稠密地圖的問題，提供一種基于BNN的稠密雙目SLAM方法，實(shí)現(xiàn)高精度定位的同時(shí)降低計(jì)算量，能夠?qū)崟r(shí)建立稠密地圖。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：一種基于BNN的稠密雙目SLAM方法，采用了一個(gè)包括BNN(二值神經(jīng)網(wǎng)絡(luò))模塊、ORB-SLAM2框架和稠密建圖模塊的系統(tǒng)；BNN模塊：接收雙目相機(jī)的左右圖像，通過已經(jīng)訓(xùn)練好的二值神經(jīng)網(wǎng)絡(luò)，實(shí)時(shí)計(jì)算左圖對應(yīng)的視差圖；ORB-SLAM2框架：ORB-SLAM2是一種開源的基于特征的SLAM方法，支持單目、雙目和RGB-D相機(jī)，通過BNN模塊與ORB-SLAM2框架的融合來提供高精度的定位；稠密建圖模塊：稠密建圖模塊根據(jù)雙目相機(jī)輸入的圖片和BNN模塊得到的視差圖，以及ORB-SLAM2框架得到的定位結(jié)果，實(shí)時(shí)建立稠密的三維環(huán)境地圖。

其中，BNN模塊包括特征提取單元、匹配代價(jià)計(jì)算單元、視差圖優(yōu)化單元；

所述特征提取單元，通過孿生二值網(wǎng)絡(luò)，對左右目圖像提取二進(jìn)制圖像塊特征每個(gè)圖像塊特征對應(yīng)權(quán)重得到帶權(quán)二進(jìn)制描述子，其中權(quán)重由網(wǎng)絡(luò)學(xué)習(xí)得來；

所述匹配代價(jià)計(jì)算單元，通過計(jì)算所述帶權(quán)二進(jìn)制描述子的帶權(quán)漢明距離，來度量圖像塊間的相似性，計(jì)算公式：

式中，表示網(wǎng)絡(luò)學(xué)習(xí)到的權(quán)重向量；表示網(wǎng)絡(luò)學(xué)習(xí)得到的權(quán)重向量的第j個(gè)元素；H()函數(shù)表示求漢明距離。

所述視差圖優(yōu)化單元，通過半全局匹配SGM來優(yōu)化所述匹配代價(jià)，得到最終的視差圖。

ORB-SLAM2框架包括相機(jī)運(yùn)動跟蹤模塊、局部建圖模塊、回環(huán)檢測模塊；

所述相機(jī)運(yùn)動跟蹤模塊用于估計(jì)相機(jī)的運(yùn)動姿態(tài)；

所述局部建圖模塊用于建立稀疏環(huán)境地圖；

所述回環(huán)檢測模塊用于檢測回環(huán)，判斷相機(jī)是否回到之前到過的場景，檢測到回環(huán)后，進(jìn)行回環(huán)矯正，矯正相關(guān)相機(jī)位姿和地圖點(diǎn)位置；