[發明專利]一種基于深度學習的移動機器人回環檢測方法

有效

• 申請號: 202111073896.2
• 申請日: 2021-09-14
• 公開（公告）號: CN113781563B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 陳維興;王琛;陳斌;李德吉
• 申請（專利權）人: 中國民航大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T17/05;G06N3/0475;G06N3/0464;G06N3/084;G06N3/082;G06V10/46;G06V10/82
• 代理公司: 天津才智專利商標代理有限公司 12108
• 代理人: 龐學欣

1.一種基于深度學習的移動機器人回環檢測方法，其特征在于：所述基于深度學習的移動機器人回環檢測方法包括按順序進行的下列步驟：

1)利用采集設備獲取航站樓場景中具有回環的序列原始圖像幀而構成航站樓實際場景數據集D；

2)對上述航站樓實際場景數據集D中的所有圖像幀進行包括旋轉、翻轉、縮放及光照強度改變在內的處理，以對圖像幀進行增強，獲得航站樓實際場景增強數據集D’；

3)將上述航站樓實際場景增強模數據集D’輸入區域生成網絡而對其進行訓練，獲得區域生成模型A；

4)將上述航站樓實際場景增強模數據集D’輸入NetVLAD網絡而對其進行訓練，獲得全局描述模型B；

5)將區域生成模型A和全局描述模型B連接而構成回環檢測模型C；

6)將待檢測原始圖像幀輸入上述回環檢測模型C中，得到待檢測原始圖像的局部區域全局描述子，然后計算上述局部區域全局描述子與關鍵幀數據庫中關鍵幀描述子的相似度，當相似度高于相似度閾值時，將關鍵幀作為回環候選幀Q，由所有的回環候選幀Q組成回環候選幀集Q_n；

7)對上述回環候選幀集Q_n進行回環驗證，若回環驗證成功，則判斷出現回環，獲得最終的回環幀。

2.根據權利要求1所述的基于深度學習的移動機器人回環檢測方法，其特征在于：在步驟1)中，所述利用采集設備獲取航站樓場景中具有回環的序列原始圖像幀而構成航站樓實際場景數據集D的方法是：

1.1)在航站樓室內區域選取包含回環的路線作為圖像采集環境；

1.2)將RGB-D相機安裝在移動平臺上作為采集設備，RGB-D相機的安裝方式為平視，安裝方向與移動平臺前進方向一致，RGB-D相機中軸線與移動平臺中軸線重合，允許安裝誤差分別為5°以內和2mm以內；

1.3)使移動平臺沿上述包含回環的路線行駛的同時，利用RGB-D相機采集航站樓場景中具有回環的序列原始彩色圖像幀和深度圖像幀，然后將上述圖像幀以相應格式保存并將同一位置的彩色圖像幀和深度圖像幀一一對應而構成圖像對，由所有圖像幀對構成航站樓實際場景數據集D。

3.根據權利要求1所述的基于深度學習的移動機器人回環檢測方法，其特征在于：在步驟3)中，所述將上述航站樓實際場景增強模數據集D’輸入區域生成網絡而對其進行訓練，獲得區域生成模型A的方法是：

首先將航站樓實際場景增強數據集D’輸入區域生成網絡的輸入層，在零值附近隨機初始化權重；經過CNN層之后產生多尺度特征圖，利用滑窗算法在特征圖上生成初始框區域，對初始框區域計算分類損失函數及邊界框回歸損失函數找到候選框區域，執行反向傳播算法并進行梯度檢查，通過反向傳播算法最小化損失函數，經過迭代直到損失函數誤差滿足閾值要求后，確定出權重參數，獲得區域生成模型A。

4.根據權利要求1所述的基于深度學習的移動機器人回環檢測方法，其特征在于：在步驟4)中，所述將上述航站樓實際場景增強模數據集D’輸入NetVLAD網絡而對其進行訓練，獲得全局描述模型B的方法是：

所述NetVLAD網絡由卷積層、池化層、全連接層和NetVLAD層構成；

首先將航站樓實際場景增強數據集D’輸入NetVLAD網絡的輸入層，在零值附近隨機初始化權重，通過前向傳播算法計算輸出，選取對應的損失函數，執行反向傳播算法并進行梯度檢查，通過反向傳播算法最小化損失函數，經過迭代直到損失函數誤差滿足閾值要求后，確定出權重參數，獲得全局描述模型B。