[發明專利]一種基于預訓練卷積神經網絡的視覺SLAM回環檢測方法

有效

• 申請號: 201910013010.1
• 申請日: 2019-01-07
• 公開（公告）號: CN109800692B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 余宇;胡峰
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/762;G06V10/82;G06N3/04
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅;陳棟梁

本發明請求保護一種基于預訓練卷積神經網絡的視覺SLAM回環檢測方法，包括如下步驟：S1.基于預訓練卷積神經網絡VGG?19的結構對輸入圖像數據集進行特征提取，并構造圖像特征向量集；S2.基于K?Means算法對圖像特征向量集進行特征聚類，并生成聚類模型；S3.對新輸入圖像幀經過預訓練VGG?19提取特征向量作為特征描述，并通過聚類模型輸出預測標簽；S4.在同一類別標簽內，利用歐式距離度量對新加入圖像的特征向量和其余特征向量進行相似度計算，當度量值小于設定閾值時則判定與之形成回環，經過條件篩選，輸出構成的真實回環圖像集合。本發明提高了準確率、降低了開銷。

技術領域

本發明屬于計算機視覺領域，尤其涉及一種基于預訓練卷積神經網絡的視覺SLAM回環檢測方法。

背景技術

同步定位與建圖(Simultaneous Localization and Mapping，SLAM)一直是機器人領域的重要研究內容，其主要目的是實現運動物體在陌生環境中自身定位及增量式的地圖構建。在早期的研究中多使用激光、雷達等設備作為傳感器進行信息采取。進入2000年以后，隨著計算性能的提高，攝像頭作為傳感器開始成為主流的SLAM系統采取方式，這種基于視覺圖像信息來感受周圍環境的SLAM系統稱為視覺SLAM(Visual SLAM)，其系統核心功能被分為三個獨立的模塊，分別是前端視覺里程計、回環檢測和后端優化。其中，視覺里程計在較長時間的運行中，會因為鄰近幀間的誤差積累導致后端的優化收斂出現嚴重的偏差，這樣的偏差在建圖過程中會反映為漂移。因此，在視覺SLAM系統中引入了回環檢測模塊，用于消除累計誤差，控制建圖的全局一致性。

傳統的回環檢測方法分為兩種。一種是基于視覺里程計的方法，這種方法是利用視覺里程計中的幾何關系，假設相機回到了之前的位置，再進行是否構成回環的判斷，但由于視覺里程計自身既存在偏移誤差，這種判斷邏輯準確性較低，誤差較大。另外一種方法是基于視覺圖像的方法，根據幀間相似性來判斷回環，把回環檢測問題歸納成為一個場景識別問題。其主要思路是通過前端攝像頭獲取到場景影像數據，運用計算機視覺的方法來計算圖像間的相似性，從而判斷回環。基于視覺圖像方法的核心問題是如何計算圖像間的相似性，現階段較常使用方法是在圖像中標定人工設計的關鍵點，然后進行特征描述子之間的相似度計算。但在回環檢測中無論是對圖像進行全局特征提取還是局部特征提取，都是基于設計算法人員的人為經驗，當在現實環境中面對光照變化，天氣變化，季節變換等情況時會出現準確率下降、無法穩定檢測等問題。

近年來，基于深度學習的方法也開始應用于回環檢測，在準確率和魯棒性上較傳統的人工設計特征方法具有更優異的表現。但是都會出現過高維度的特征向量增加了計算復雜度，龐大的神經網絡訓練不適合應用在常搭載SLAM系統的移動平臺，不適合的神經網絡模型應用在回環檢測中容易形成過擬合等問題。

因此，為了解決上述技術問題，亟需提出一種新的方法。

發明內容

本發明旨在解決以上現有技術的問題。提出了一種解決了人工設計的特征提取在回環檢測中面對光照和角度變化時準確率下降和特征提取與構造特征描述子耗時高的問題。克服了常見的基于深度學習的視覺SLAM回環檢測方法中，高緯度的特征向量引起的計算性能開銷過大無法快速檢測回環的問題的基于預訓練卷積神經網絡的視覺SLAM回環檢測方法。本發明的技術方案如下：

一種基于預訓練卷積神經網絡的視覺SLAM回環檢測方法，其包括以下步驟：

S1、輸入場景圖像集合，對輸入圖像先進行去均值標準化處理，基于預訓練卷積神經網絡VGG-19的結構，在VGG-19的前向傳播中對輸入圖像數據集進行特征提取，并構造圖像特征向量集；

S2、基于K-Means算法對圖像特征向量集進行特征聚類，并生成聚類模型；

S3、對新輸入圖像幀經過預訓練VGG-19提取特征向量作為特征描述，并通過聚類模型輸出預測標簽；