[發(fā)明專利]一種基于BNN的稠密雙目SLAM方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010627927.3
• 申請(qǐng)日: 2020-07-02
• 公開（公告）號(hào): CN111998862B
• 公開（公告）日: 2023-05-16
• 發(fā)明（設(shè)計(jì)）人: 陳剛;吳志慧
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G01C21/32
• 分類號(hào): G01C21/32;G06N3/0464;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 陳偉斌

1.一種基于BNN的稠密雙目SLAM方法，其特征在于，包括如下步驟：

步驟一：對(duì)經(jīng)過矯正后輸入的左圖，提取ORB特征；ORB特征由旋轉(zhuǎn)多尺度FAST角點(diǎn)和角點(diǎn)對(duì)應(yīng)的256位BRIEF描述子組成；

步驟二：獲取左圖深度圖；對(duì)輸入左右目圖像，使用二值神經(jīng)網(wǎng)絡(luò)計(jì)算出左圖的視差圖，由得到的左圖的視差圖，根據(jù)雙目測距原理，得到左圖的深度圖；二值神經(jīng)網(wǎng)絡(luò)共有四層并經(jīng)過雙目圖像庫訓(xùn)練，通過二值神經(jīng)網(wǎng)絡(luò)獲取左圖的深度圖是通過使用帶權(quán)漢明距離度量圖像塊的相似性，得到匹配代價(jià)，最后通過半全局匹配SGM來優(yōu)化所述匹配代價(jià)，得到視差圖，再根據(jù)雙目測距原理，得到左圖的深度圖；

對(duì)于網(wǎng)絡(luò)提取的圖像塊的特征其余弦相似性為：

式中，表示左圖第i塊圖像塊的特征向量；表示右圖第i塊圖像塊的特征向量；表示計(jì)算兩個(gè)特征向量的余弦相似性；表示左圖第i塊圖像塊的特征向量的第j個(gè)元素；表示右圖第i塊圖像塊的特征向量的第j個(gè)元素；sign()函數(shù)表示二值化；

用加權(quán)漢明距離表示余弦相似性：

式中，表示網(wǎng)絡(luò)學(xué)習(xí)到的權(quán)重向量；表示網(wǎng)絡(luò)學(xué)習(xí)得到的權(quán)重向量的第j個(gè)元素；H()函數(shù)表示求漢明距離；

其中加權(quán)漢明距離最優(yōu)權(quán)重的求解步驟如下：

式中，表示第i個(gè)權(quán)重向量的第j個(gè)元素；表示網(wǎng)絡(luò)學(xué)習(xí)到的權(quán)重向量；表示網(wǎng)絡(luò)學(xué)習(xí)得到的權(quán)重向量的第j個(gè)元素；表示最優(yōu)權(quán)重；H()函數(shù)表示求漢明距離；J()表示構(gòu)建最小二乘優(yōu)化問題；

對(duì)關(guān)于求導(dǎo)，并令其為0，可得權(quán)重最優(yōu)解：

式中，表示第i個(gè)權(quán)重向量的第j個(gè)元素；表示網(wǎng)絡(luò)學(xué)習(xí)得到的權(quán)重向量的第j個(gè)元素；

步驟三：獲取左圖ORB特征點(diǎn)深度；在深度圖可信區(qū)域定位ORB特征點(diǎn)的位置，獲取對(duì)應(yīng)ORB特征點(diǎn)的深度；

步驟四：估計(jì)當(dāng)前相機(jī)運(yùn)動(dòng)姿態(tài)；

步驟五：生成關(guān)鍵幀，并通過關(guān)鍵幀進(jìn)行局部建圖；

步驟六：建立稠密地圖；

步驟七：回環(huán)檢測與回環(huán)矯正。

2.根據(jù)權(quán)利要求1所述的一種基于BNN的稠密雙目SLAM方法，，其特征在于，所述步驟三的具體流程為：選擇左圖深度圖可信區(qū)域，令可信區(qū)域長寬相對(duì)于原深度圖長寬比例分別為a和b，參數(shù)a和b的設(shè)定可根據(jù)雙目相機(jī)的參數(shù)確定，當(dāng)雙目相機(jī)基線較短時(shí)，選擇較小的a和較小的b；不可靠深度剔除，深度過大或深度過小視為不可靠深度，設(shè)定深度上下閾值，閾值范圍外的深度進(jìn)行剔除，可以用雙目相機(jī)的基線長度乘以某一常數(shù)的值來設(shè)定深度閾值；在深度圖可信區(qū)域定位ORB特征點(diǎn)的位置，獲取對(duì)應(yīng)ORB特征點(diǎn)的深度。

3.根據(jù)權(quán)利要求2所述的一種基于BNN的稠密雙目SLAM方法，，其特征在于，所述步驟四的具體流程為：

S4.1:若相機(jī)勻速運(yùn)動(dòng)，則根據(jù)勻速運(yùn)動(dòng)模型，根據(jù)上一幀的運(yùn)動(dòng)姿態(tài)估計(jì)當(dāng)前幀的運(yùn)動(dòng)姿態(tài)；若相機(jī)非勻速運(yùn)動(dòng)，則將當(dāng)前幀與當(dāng)前幀的參考關(guān)鍵幀進(jìn)行特征匹配，利用BoW詞典加速匹配過程，根據(jù)匹配結(jié)果，優(yōu)化當(dāng)前幀的運(yùn)動(dòng)姿態(tài)；

S4.2：將當(dāng)前幀與局部地圖進(jìn)行特征匹配，匹配結(jié)果用于優(yōu)化步驟4.1的相機(jī)運(yùn)動(dòng)位姿估計(jì)，得到最終的相機(jī)運(yùn)動(dòng)姿態(tài)估計(jì)。

4.根據(jù)權(quán)利要求3所述的一種基于BNN的稠密雙目SLAM方法，，其特征在于，所述步驟五建立局部地圖的具體步驟如下：

S5.1：建立共視圖和生成樹；共視圖由關(guān)鍵幀組成，若兩關(guān)鍵幀之間有至少15個(gè)相同的地圖點(diǎn)，則存在一條邊，邊的權(quán)重為兩者擁有相同地圖點(diǎn)的個(gè)數(shù)；生成樹是共視圖的子圖，生成樹的邊權(quán)重要求至少是100；

S5.2：插入關(guān)鍵幀；將相機(jī)運(yùn)動(dòng)跟蹤線程送入的關(guān)鍵幀進(jìn)行處理，更新共視圖和生成樹；

S5.3：更新地圖點(diǎn)；包括地圖點(diǎn)裁剪和生成，地圖點(diǎn)的生成利用三角化原理，從共視圖的關(guān)鍵幀中的ORB特征點(diǎn)生成；地圖點(diǎn)的裁剪為對(duì)觀察次數(shù)少的地圖點(diǎn)進(jìn)行剔除；

S5.4：局部BA優(yōu)化；優(yōu)化當(dāng)前幀和與當(dāng)前幀在共視圖中有關(guān)聯(lián)的所有關(guān)鍵幀的運(yùn)動(dòng)姿態(tài)，以及這些關(guān)鍵幀對(duì)應(yīng)的地圖點(diǎn)的空間位置；

S5.5：局部關(guān)鍵幀裁剪；刪除90％的地圖點(diǎn)都能被其他關(guān)鍵幀觀察到的關(guān)鍵幀，以控制局部地圖的規(guī)模不至于過大。