[發明專利]一種全周期采用CNNs特征檢測的視覺SLAM算法

有效

• 申請號: 201811087509.9
• 申請日: 2018-09-18
• 公開（公告）號: CN109341703B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 趙永嘉;張寧;雷小永;戴樹嶺
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G01C21/32
• 分類號: G01C21/32;G06V10/74;G06V10/764;G06V10/774;G06V10/82;G06K9/62
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 周長琪

1.一種全周期采用CNNs特征檢測的視覺SLAM方法，包括以下步驟：

步驟1:使用雙目攝像機掃描周圍的環境信息；將采集到的多個視頻流中一部分作為訓練數據集，一部分作為測試數據集；

步驟2：通過同步檢測的方法對步驟1采集的視頻流中訓練數據集進行預訓練；采用無監督學習模型采用隨機梯度下降訓練對訓練數據集進行預訓練，得到運動和深度聯合表示的特征信息，隨后將運動和深度聯合表示的特征信息去白化返回到圖像空間；

步驟3：使用卷積神經網絡訓練得到速度的局部改變與方向的局部改變，來執行視覺里程計；將步驟2中無監督學習模型訓練得到的特征輸入兩個相同架構的CNN第一層，用于兩個CNN第一層的初始化；兩個CNN分別輸出速度的局部改變與方向的局部改變，并有兩個CNN剩余部分分別將速度的局部改變與方向的局部改變與期望的標簽相關聯；

整個CNN網絡共有6層，第一層是5*5的卷積層，分別左右圖像學習特征；接下來第二層對左右兩個卷積層提取出的特征進行元素相乘；第三層1*1的卷積層，第四層是池化層，第五層是全連接層，最后的輸出層是Softmax層；

上述兩個CNN的輸入均為5幀子序列，并且目標輸出是局部速度和方向改變的向量表示；局部的速度和方向改變信息的效果和精度通過雙目數據集KITTI進行評測；

步驟4：利用步驟3得到的速度的局部改變與方向的局部改變信息，恢復出相機的運動路徑；

步驟5：使用卷積神經網絡進行閉環檢測，消除路徑預測的累積誤差；

首先，通過將步驟1 中采集的訓練數據集和測試數據集作為輸入，使用在imagenet數據集上預訓練好的overfeat卷積神經網絡進行特征提取；隨后，對從每一張測試數據集中的圖片中提取的特征與從每一張訓練數據集中提出的特征進行匹配；

利用overfeat卷積神經網絡各層特征構造混合矩陣：

M_k(i,j)＝d(L_k(I_i),L_k(I_j)),i＝1,…,R,j＝1,…,T

其中，I_i代表第i幀訓練數據集中的圖像輸入，I_j代表第j幀測試數據集中的圖像輸入，L_k(I_i)代表與I_i對應的第k層輸出，M_k(i,j)代表第k層訓練樣本i和測試樣本j之間的歐氏距離，即描述了兩者之間的匹配程度；R與T分別代表訓練圖像的個數和測試圖像的個數；上述混合矩陣每一列存儲了第j幀測試圖像和所有訓練圖像之間的平均特征向量差；

搜索混合矩陣每列中具有最低特征向量差的元素；

2.如權利要求1所述一種全周期采用CNNs特征檢測的視覺SLAM方法，其特征在于：步驟1中使用雙目攝像機沿在環形區域移動，移動圈數為1～2圈，構成閉環。

3.如權利要求1所述一種全周期采用CNNs特征檢測的視覺SLAM方法，其特征在于：步驟3中，將步驟2訓練得到的特征輸入兩個相同架構的CNN第一層，通過CNN架構把獲取的運動和深度的聯合表示進行訓練與期望的標簽相關聯。