[發明專利]一種基于BNN的稠密雙目SLAM方法

有效

• 申請號: 202010627927.3
• 申請日: 2020-07-02
• 公開（公告）號: CN111998862B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 陳剛;吳志慧
• 申請（專利權）人: 中山大學
• 主分類號: G01C21/32
• 分類號: G01C21/32;G06N3/0464;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

1.一種基于BNN的稠密雙目SLAM方法，其特征在于，包括如下步驟：

步驟一：對經過矯正后輸入的左圖，提取ORB特征；ORB特征由旋轉多尺度FAST角點和角點對應的256位BRIEF描述子組成；

步驟二：獲取左圖深度圖；對輸入左右目圖像，使用二值神經網絡計算出左圖的視差圖，由得到的左圖的視差圖，根據雙目測距原理，得到左圖的深度圖；二值神經網絡共有四層并經過雙目圖像庫訓練，通過二值神經網絡獲取左圖的深度圖是通過使用帶權漢明距離度量圖像塊的相似性，得到匹配代價，最后通過半全局匹配SGM來優化所述匹配代價，得到視差圖，再根據雙目測距原理，得到左圖的深度圖；

對于網絡提取的圖像塊的特征其余弦相似性為：

式中，表示左圖第i塊圖像塊的特征向量；表示右圖第i塊圖像塊的特征向量；表示計算兩個特征向量的余弦相似性；表示左圖第i塊圖像塊的特征向量的第j個元素；表示右圖第i塊圖像塊的特征向量的第j個元素；sign()函數表示二值化；

用加權漢明距離表示余弦相似性：

式中，表示網絡學習到的權重向量；表示網絡學習得到的權重向量的第j個元素；H()函數表示求漢明距離；

其中加權漢明距離最優權重的求解步驟如下：

式中，表示第i個權重向量的第j個元素；表示網絡學習到的權重向量；表示網絡學習得到的權重向量的第j個元素；表示最優權重；H()函數表示求漢明距離；J()表示構建最小二乘優化問題；

對關于求導，并令其為0，可得權重最優解：

式中，表示第i個權重向量的第j個元素；表示網絡學習得到的權重向量的第j個元素；

步驟三：獲取左圖ORB特征點深度；在深度圖可信區域定位ORB特征點的位置，獲取對應ORB特征點的深度；

步驟四：估計當前相機運動姿態；

步驟五：生成關鍵幀，并通過關鍵幀進行局部建圖；

步驟六：建立稠密地圖；

步驟七：回環檢測與回環矯正。

2.根據權利要求1所述的一種基于BNN的稠密雙目SLAM方法，，其特征在于，所述步驟三的具體流程為：選擇左圖深度圖可信區域，令可信區域長寬相對于原深度圖長寬比例分別為a和b，參數a和b的設定可根據雙目相機的參數確定，當雙目相機基線較短時，選擇較小的a和較小的b；不可靠深度剔除，深度過大或深度過小視為不可靠深度，設定深度上下閾值，閾值范圍外的深度進行剔除，可以用雙目相機的基線長度乘以某一常數的值來設定深度閾值；在深度圖可信區域定位ORB特征點的位置，獲取對應ORB特征點的深度。

3.根據權利要求2所述的一種基于BNN的稠密雙目SLAM方法，，其特征在于，所述步驟四的具體流程為：

S4.1:若相機勻速運動，則根據勻速運動模型，根據上一幀的運動姿態估計當前幀的運動姿態；若相機非勻速運動，則將當前幀與當前幀的參考關鍵幀進行特征匹配，利用BoW詞典加速匹配過程，根據匹配結果，優化當前幀的運動姿態；

S4.2：將當前幀與局部地圖進行特征匹配，匹配結果用于優化步驟4.1的相機運動位姿估計，得到最終的相機運動姿態估計。

4.根據權利要求3所述的一種基于BNN的稠密雙目SLAM方法，，其特征在于，所述步驟五建立局部地圖的具體步驟如下：

S5.1：建立共視圖和生成樹；共視圖由關鍵幀組成，若兩關鍵幀之間有至少15個相同的地圖點，則存在一條邊，邊的權重為兩者擁有相同地圖點的個數；生成樹是共視圖的子圖，生成樹的邊權重要求至少是100；

S5.2：插入關鍵幀；將相機運動跟蹤線程送入的關鍵幀進行處理，更新共視圖和生成樹；

S5.3：更新地圖點；包括地圖點裁剪和生成，地圖點的生成利用三角化原理，從共視圖的關鍵幀中的ORB特征點生成；地圖點的裁剪為對觀察次數少的地圖點進行剔除；

S5.4：局部BA優化；優化當前幀和與當前幀在共視圖中有關聯的所有關鍵幀的運動姿態，以及這些關鍵幀對應的地圖點的空間位置；

S5.5：局部關鍵幀裁剪；刪除90％的地圖點都能被其他關鍵幀觀察到的關鍵幀，以控制局部地圖的規模不至于過大。