[發明專利]一種融合深度信息的視覺SLAM回環檢測方法及裝置

在審

• 申請號: 201811632974.6
• 申請日: 2018-12-29
• 公開（公告）號: CN109784232A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 吳俊君;陳世浪;周林;鄺輝宇
• 申請（專利權）人: 佛山科學技術學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06T7/50
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 謝泳祥

1.一種融合深度信息的視覺SLAM回環檢測方法，其特征在于，包括以下步驟：

步驟S100、獲取機器人運動過程中拍攝的視頻流圖像；

步驟S200、離線抽取視頻流中的關鍵幀；

步驟S300、運用深度神經網絡訓練得到關鍵幀的深度圖；

步驟S400、利用M2DP算法提取深度圖的全局特征描述符；

步驟S500、利用矩陣向量乘法計算深度圖的余弦距離，從而匹配關鍵幀的相似度；

步驟S600、對關鍵幀進行回環檢測。

2.根據權利要求1所述的一種融合深度信息的視覺SLAM回環檢測方法，其特征在于，所述步驟S100中的視頻流圖像通過設置于機器人上的相機采集。

3.根據權利要求1所述的一種融合深度信息的視覺SLAM回環檢測方法，其特征在于，所述步驟S300具體包括：

步驟S310、構建關鍵幀相對深度的數據庫；

步驟S320、在同一關鍵幀中隨機選取兩個圖像點，標注同一關鍵幀中兩個所述圖像點的相對遠近信息；

步驟S330、通過神經網絡的訓練得到原圖之中的相對深度信息；

步驟S340、得到具有物體信息的圖像，所述圖像和原圖大小一致。

4.根據權利要求1所述的一種融合深度信息的視覺SLAM回環檢測方法，其特征在于，所述步驟S400具體包括：將深度圖變換成點云后，向若干設定好的平面投影，生成2D圖像描述符，然后通過主成分分析方法對重疊的2D圖像描述符降維，生成128維的全局特征描述符。

5.根據權利要求1所述的一種融合深度信息的視覺SLAM回環檢測方法，其特征在于，所述步驟S500中利用矩陣向量乘法計算深度圖的余弦距離具體為：

通過獲取當前關鍵幀與地圖中關鍵幀的矩陣向量，并利用矩陣向量乘法計算深度圖的余弦距離，從而獲得當前關鍵幀與地圖中關鍵幀相似度。

6.根據權利要求5所述的一種融合深度信息的視覺SLAM回環檢測方法，其特征在于，所述步驟S600具體包括：

當所述當前關鍵幀與地圖中關鍵幀相似度達到設定比例時，則判定回環檢測已經發生，從而調整地圖的偏移并更新全局地圖；當所述當前關鍵幀與地圖中關鍵幀相似度低于設定比例時，則判定回環檢測沒有發生，從而新建關鍵幀并擴充地圖。

7.一種融合深度信息的視覺SLAM回環檢測裝置，其特征在于，所述裝置包括：存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序運行在所述裝置的以下模塊中：

獲取模塊，用于獲取機器人運動過程中拍攝的視頻流圖像；

抽取模塊，用于離線抽取視頻流中的關鍵幀；

訓練模塊，用于運用深度神經網絡訓練得到關鍵幀的深度圖；

提取模塊，用于利用M2DP算法提取深度圖的全局特征描述符；

匹配模塊，用于利用矩陣向量乘法計算深度圖的余弦距離，從而匹配關鍵幀的相似度；

檢測模塊，用于對關鍵幀進行回環檢測。