[發明專利]一種融合深度信息的視覺SLAM回環檢測方法及裝置

在審

• 申請號: 201811632974.6
• 申請日: 2018-12-29
• 公開（公告）號: CN109784232A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 吳俊君;陳世浪;周林;鄺輝宇
• 申請（專利權）人: 佛山科學技術學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06T7/50
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 謝泳祥

本發明涉及機器人同時定位與地圖構建技術領域，具體涉及一種融合深度信息的視覺SLAM回環檢測方法及裝置，獲取機器人運動過程中拍攝的視頻流圖像，并離線抽取視頻流圖像中的關鍵幀，運用深度神經網絡訓練得到關鍵幀的深度圖，利用M2DP算法提取深度圖的全局特征描述符，進而利用矩陣向量乘法計算深度圖的余弦距離，從而匹配關鍵幀的相似度，對關鍵幀進行回環檢測，本發明提供的方法具有對光照的不變性，能實現機器人的準確定位和地圖構建。

技術領域

本發明涉及機器人同時定位與地圖構建技術領域，具體涉及一種融合深度信息的視覺SLAM回環檢測方法及裝置。

背景技術

自仿生學與智能機器人技術的出現以來,研究者們就渴望有朝一日,機器人能夠像人類一樣,通過眼睛去觀察和理解周圍的世界,并能夠能在自然環境中靈巧地自主行走,實現人機和諧共融。

其中，一個重要而基本的問題是，如何通過二維的圖像信息分析景物的三維結構，確定相機在其中的位置。這個問題的解決，離不開一項基本技術的研究：同時定位與地圖構建(Simultaneous-Localizationand-Mapping,SLAM)，特別是基于視覺的SLAM技術。

為了達到基于視覺的SLAM技術實現人眼一樣的效果，只要環視四周，辨識物體，就能判斷自己的位置，而當前基于特征點和像素的算法，離這樣的目的顯然遠遠不夠。幾乎所有的閉環檢測方法都是利用視覺傳感，即對環境利用關鍵幀進行視覺描述，然后通過當前的圖像與地圖中關鍵幀匹配完成閉環檢測的工作。

在閉環檢測問題上，機器人研究工作主要側重解決兩個難題：第一個是有可拓展性的、適用于大環境中的圖像匹配，因為很多任務要求機器人在需用成千上萬乃至百萬幅關鍵幀來描述環境，因而產生可拓展即適用于大環境的高速高精度圖像匹配算法的要求。第二個需要解決的難題是圖像匹配時所應具有環境條件不變性，這是指能夠對各種不同條件下采集的圖像進行準確匹配，包括對光照變化的處理，以及對動態環境、季節、天氣以及視角變化處理的能力。

目前的方法中對光照不變性較弱，而如何提高機器人對光照的不變性，從而實現機器人的準確定位和地圖構建，是值得解決的問題。

發明內容

本發明的目的在于提供一種融合深度信息的視覺SLAM回環檢測方法及裝置，旨在提高機器人對光照的不變性，從而實現機器人的準確定位和地圖構建。

為了實現上述目的，本發明提供以下技術方案：

本發明提供一種融合深度信息的視覺SLAM回環檢測方法，包括以下步驟：

步驟S100、獲取機器人運動過程中拍攝的視頻流圖像；

步驟S200、離線抽取視頻流中的關鍵幀；

步驟S300、運用深度神經網絡訓練得到關鍵幀的深度圖；

步驟S400、利用M2DP算法提取深度圖的全局特征描述符；

步驟S500、利用矩陣向量乘法計算深度圖的余弦距離，從而匹配關鍵幀的相似度；

步驟S600、對關鍵幀進行回環檢測。

進一步，所述步驟S100中的視頻流圖像通過設置于機器人上的相機采集。

進一步，所述步驟S300具體包括：

步驟S310、構建關鍵幀相對深度的數據庫；

步驟S320、在同一關鍵幀中隨機選取兩個圖像點，標注同一關鍵幀中兩個所述圖像點的相對遠近信息；

步驟S330、通過神經網絡的訓練得到原圖之中的相對深度信息；

步驟S340、得到具有物體信息的圖像，所述圖像和原圖大小一致。