[發明專利]一種基于深度學習的機器人閉環檢測方法

有效

• 申請號: 201710018162.1
• 申請日: 2017-01-11
• 公開（公告）號: CN106780631B
• 公開（公告）日: 2020-01-03
• 發明（設計）人: 劉國良;趙洋;田國會;張威
• 申請（專利權）人: 山東大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/90;G06K9/00
• 代理公司: 37221 濟南圣達知識產權代理有限公司
• 代理人: 張勇

1.一種基于深度學習的機器人閉環檢測方法，其特征在于：

(1)獲取首幀環境的RGB圖像和三維數據，將環境的RGB圖像和三維數據進行配準獲得環境的RGB+DEPTH四通道圖像，將所述RGB+DEPTH四通道圖像輸入到卷積神經網絡中，采用卷積神經網絡的中間層輸出作為首幀的特征提取結果；

(2)采用(1)的方法獲取連續N幀的特征提取結果；

(3)將第N幀與第M幀的特征提取結果進行特征匹配，根據特征匹配結果判斷閉環是否發生，其中M+1<N；

對機器人的攝像機進行標定，得到攝像機的內外參數，根據攝像機內外參數將所述三維數據投影到所述環境的RGB圖像平面，并采用像素插值結合平滑處理方法生成對應的深度圖像；

選取多個關鍵幀作為候選幀集合，第M幀出自于所述候選幀集合；

將第N幀與第M幀的特征提取結果記為第1結果，將第M幀相鄰幀與第N幀的特征提取結果也分別進行特征匹配，并記為第w結果，其中w>1，第M幀相鄰幀為以第M幀為中心的前后多幀；若第1結果判斷發生閉環，且第w結果也判斷發生閉環，則決策認為發生真閉環；若第1結果判斷發生閉環，且第w結果判斷未發生閉環，則決策認為發生偽閉環。

2.根據權利要求1所述的方法，其特征在于：所述深度圖像與RGB圖像并聯生成RGBD四通道圖像。

3.根據權利要求1所述的方法，其特征在于：所述卷積神經網絡采用預訓練神經網絡Alexnet或基于Places數據庫對預訓練網絡再訓練和參數調優的數據庫。

4.根據權利要求1所述的方法，其特征在于：采用相似性矩陣對第N幀與第M幀的特征提取結果進行特征匹配，用于避免根據特征匹配結果做出偽閉環的判斷。

5.根據權利要求4所述的方法，其特征在于：對所述相似性矩陣進行特征值分解，得到降秩后的相似性矩陣，用于避免根據特征匹配結果做出偽閉環的判斷。

6.一種機器人，包括攝像機，其特征在于：還配置有三維激光掃描儀，采用如權利要求1-5任一項所述的閉環檢測方法判斷閉環是否發生。