[發(fā)明專利]一種基于BNN的稠密雙目SLAM方法有效
| 申請(qǐng)?zhí)枺?/td> | 202010627927.3 | 申請(qǐng)日: | 2020-07-02 |
| 公開(公告)號(hào): | CN111998862B | 公開(公告)日: | 2023-05-16 |
| 發(fā)明(設(shè)計(jì))人: | 陳剛;吳志慧 | 申請(qǐng)(專利權(quán))人: | 中山大學(xué) |
| 主分類號(hào): | G01C21/32 | 分類號(hào): | G01C21/32;G06N3/0464;G06N3/08 |
| 代理公司: | 廣州粵高專利商標(biāo)代理有限公司 44102 | 代理人: | 陳偉斌 |
| 地址: | 510275 廣東*** | 國省代碼: | 廣東;44 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 基于 bnn 稠密 雙目 slam 方法 | ||
1.一種基于BNN的稠密雙目SLAM方法,其特征在于,包括如下步驟:
步驟一:對(duì)經(jīng)過矯正后輸入的左圖,提取ORB特征;ORB特征由旋轉(zhuǎn)多尺度FAST角點(diǎn)和角點(diǎn)對(duì)應(yīng)的256位BRIEF描述子組成;
步驟二:獲取左圖深度圖;對(duì)輸入左右目圖像,使用二值神經(jīng)網(wǎng)絡(luò)計(jì)算出左圖的視差圖,由得到的左圖的視差圖,根據(jù)雙目測距原理,得到左圖的深度圖;二值神經(jīng)網(wǎng)絡(luò)共有四層并經(jīng)過雙目圖像庫訓(xùn)練,通過二值神經(jīng)網(wǎng)絡(luò)獲取左圖的深度圖是通過使用帶權(quán)漢明距離度量圖像塊的相似性,得到匹配代價(jià),最后通過半全局匹配SGM來優(yōu)化所述匹配代價(jià),得到視差圖,再根據(jù)雙目測距原理,得到左圖的深度圖;
對(duì)于網(wǎng)絡(luò)提取的圖像塊的特征其余弦相似性為:
式中,表示左圖第i塊圖像塊的特征向量;表示右圖第i塊圖像塊的特征向量;表示計(jì)算兩個(gè)特征向量的余弦相似性;表示左圖第i塊圖像塊的特征向量的第j個(gè)元素;表示右圖第i塊圖像塊的特征向量的第j個(gè)元素;sign()函數(shù)表示二值化;
用加權(quán)漢明距離表示余弦相似性:
式中,表示網(wǎng)絡(luò)學(xué)習(xí)到的權(quán)重向量;表示網(wǎng)絡(luò)學(xué)習(xí)得到的權(quán)重向量的第j個(gè)元素;H()函數(shù)表示求漢明距離;
其中加權(quán)漢明距離最優(yōu)權(quán)重的求解步驟如下:
式中,表示第i個(gè)權(quán)重向量的第j個(gè)元素;表示網(wǎng)絡(luò)學(xué)習(xí)到的權(quán)重向量;表示網(wǎng)絡(luò)學(xué)習(xí)得到的權(quán)重向量的第j個(gè)元素;表示最優(yōu)權(quán)重;H()函數(shù)表示求漢明距離;J()表示構(gòu)建最小二乘優(yōu)化問題;
對(duì)關(guān)于求導(dǎo),并令其為0,可得權(quán)重最優(yōu)解:
式中,表示第i個(gè)權(quán)重向量的第j個(gè)元素;表示網(wǎng)絡(luò)學(xué)習(xí)得到的權(quán)重向量的第j個(gè)元素;
步驟三:獲取左圖ORB特征點(diǎn)深度;在深度圖可信區(qū)域定位ORB特征點(diǎn)的位置,獲取對(duì)應(yīng)ORB特征點(diǎn)的深度;
步驟四:估計(jì)當(dāng)前相機(jī)運(yùn)動(dòng)姿態(tài);
步驟五:生成關(guān)鍵幀,并通過關(guān)鍵幀進(jìn)行局部建圖;
步驟六:建立稠密地圖;
步驟七:回環(huán)檢測與回環(huán)矯正。
2.根據(jù)權(quán)利要求1所述的一種基于BNN的稠密雙目SLAM方法,,其特征在于,所述步驟三的具體流程為:選擇左圖深度圖可信區(qū)域,令可信區(qū)域長寬相對(duì)于原深度圖長寬比例分別為a和b,參數(shù)a和b的設(shè)定可根據(jù)雙目相機(jī)的參數(shù)確定,當(dāng)雙目相機(jī)基線較短時(shí),選擇較小的a和較小的b;不可靠深度剔除,深度過大或深度過小視為不可靠深度,設(shè)定深度上下閾值,閾值范圍外的深度進(jìn)行剔除,可以用雙目相機(jī)的基線長度乘以某一常數(shù)的值來設(shè)定深度閾值;在深度圖可信區(qū)域定位ORB特征點(diǎn)的位置,獲取對(duì)應(yīng)ORB特征點(diǎn)的深度。
3.根據(jù)權(quán)利要求2所述的一種基于BNN的稠密雙目SLAM方法,,其特征在于,所述步驟四的具體流程為:
S4.1:若相機(jī)勻速運(yùn)動(dòng),則根據(jù)勻速運(yùn)動(dòng)模型,根據(jù)上一幀的運(yùn)動(dòng)姿態(tài)估計(jì)當(dāng)前幀的運(yùn)動(dòng)姿態(tài);若相機(jī)非勻速運(yùn)動(dòng),則將當(dāng)前幀與當(dāng)前幀的參考關(guān)鍵幀進(jìn)行特征匹配,利用BoW詞典加速匹配過程,根據(jù)匹配結(jié)果,優(yōu)化當(dāng)前幀的運(yùn)動(dòng)姿態(tài);
S4.2:將當(dāng)前幀與局部地圖進(jìn)行特征匹配,匹配結(jié)果用于優(yōu)化步驟4.1的相機(jī)運(yùn)動(dòng)位姿估計(jì),得到最終的相機(jī)運(yùn)動(dòng)姿態(tài)估計(jì)。
4.根據(jù)權(quán)利要求3所述的一種基于BNN的稠密雙目SLAM方法,,其特征在于,所述步驟五建立局部地圖的具體步驟如下:
S5.1:建立共視圖和生成樹;共視圖由關(guān)鍵幀組成,若兩關(guān)鍵幀之間有至少15個(gè)相同的地圖點(diǎn),則存在一條邊,邊的權(quán)重為兩者擁有相同地圖點(diǎn)的個(gè)數(shù);生成樹是共視圖的子圖,生成樹的邊權(quán)重要求至少是100;
S5.2:插入關(guān)鍵幀;將相機(jī)運(yùn)動(dòng)跟蹤線程送入的關(guān)鍵幀進(jìn)行處理,更新共視圖和生成樹;
S5.3:更新地圖點(diǎn);包括地圖點(diǎn)裁剪和生成,地圖點(diǎn)的生成利用三角化原理,從共視圖的關(guān)鍵幀中的ORB特征點(diǎn)生成;地圖點(diǎn)的裁剪為對(duì)觀察次數(shù)少的地圖點(diǎn)進(jìn)行剔除;
S5.4:局部BA優(yōu)化;優(yōu)化當(dāng)前幀和與當(dāng)前幀在共視圖中有關(guān)聯(lián)的所有關(guān)鍵幀的運(yùn)動(dòng)姿態(tài),以及這些關(guān)鍵幀對(duì)應(yīng)的地圖點(diǎn)的空間位置;
S5.5:局部關(guān)鍵幀裁剪;刪除90%的地圖點(diǎn)都能被其他關(guān)鍵幀觀察到的關(guān)鍵幀,以控制局部地圖的規(guī)模不至于過大。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于中山大學(xué),未經(jīng)中山大學(xué)許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202010627927.3/1.html,轉(zhuǎn)載請(qǐng)聲明來源鉆瓜專利網(wǎng)。
- 一種高電導(dǎo)玻璃粉及其制備方法,及基于其的鈦酸鋇基玻璃陶瓷及其制備方法
- 協(xié)同增強(qiáng)抗腫瘤的近紅外光響應(yīng)型納米復(fù)合材料
- 一種近紅外光下釋放NO和CO治療腫瘤的納米復(fù)合材料
- 一種電網(wǎng)負(fù)荷預(yù)測方法和裝置
- 在NAND存儲(chǔ)器陣列中實(shí)現(xiàn)具有三值輸入和二值權(quán)重的神經(jīng)網(wǎng)絡(luò)
- NAND存儲(chǔ)器陣列中的二值神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)
- 訓(xùn)練用于控制工程系統(tǒng)的機(jī)器學(xué)習(xí)例程的方法和設(shè)備
- 基于生物神經(jīng)網(wǎng)絡(luò)的認(rèn)知計(jì)算方法與系統(tǒng)
- 一種基于BNN的稠密雙目SLAM方法
- 對(duì)稱型存儲(chǔ)單元及BNN電路
- 一種基于圖像形態(tài)學(xué)的稠密物體分割方法
- 矩陣處理裝置
- 基于稠密連接的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)方法和系統(tǒng)
- 一種用于目標(biāo)重建的嵌套結(jié)構(gòu)的漸進(jìn)式稠密網(wǎng)絡(luò)
- 基于稠密多路卷積網(wǎng)絡(luò)的圖片分類方法與系統(tǒng)
- 矩陣處理裝置
- 人臉圖像的處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)
- 結(jié)構(gòu)化稀疏參數(shù)的處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)
- 一種訓(xùn)練模型和點(diǎn)云的處理方法及裝置
- 一種表面缺陷檢測方法和裝置
- 雙目圖像視差調(diào)節(jié)方法及裝置和雙目相機(jī)
- 一種擴(kuò)展雙目相機(jī)定位范圍的方法和裝置
- 眼科手術(shù)顯微鏡
- 雙目異內(nèi)參攝像-顯像光學(xué)系統(tǒng)的匹配方法及其系統(tǒng)和電子設(shè)備
- 用于測量物料體積的方法和裝置
- 一種雙目圖像的視差確定方法、裝置及系統(tǒng)
- 雙目精度的檢測方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)
- 基于雙目視覺的環(huán)境感知方法、裝置及無人飛行器
- 一種實(shí)時(shí)遠(yuǎn)程植被監(jiān)測系統(tǒng)
- 一種用于兼容安裝多款雙目攝像頭的可調(diào)節(jié)裝置





