[發明專利]基于單目視覺的移動機器人語義地圖構建系統

有效

• 申請號: 202010156120.6
• 申請日: 2020-03-09
• 公開（公告）號: CN111368759B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 范新南;顧亞飛;倪建軍;史朋飛;羅成名;田斌
• 申請（專利權）人: 河海大學常州校區
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/764;G06V10/82;G06N3/04;G01C21/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 丁濤

本發明采用基于單目視覺的移動機器人語義地圖構建系統，其步驟包括：機器人視為一個智能體，單目視覺傳感器，計算機，進行圖像采集與環境地圖構建工作；在構建環境語義地圖之前，機器人先利用在線篩選策略來獲取可靠的圖像數據集，并將該數據集作為50層殘差網絡模型的輸入進行訓練，得到場景的分類模型；移動機器人利用改進的ORB_SLAM系統進行環境地圖的構建，并得到由關鍵幀圖像組成的環境映射地圖；利用場景分類模型將關鍵幀圖像進行分類，獲得帶有語義標簽的關鍵幀圖像，最終生成環境語義地圖；移動機器人可以實現語義地圖保存、加載功能以及自身重定位功能，大大提高了工作效率。

技術領域

本發明屬于機器人的定位與建圖領域，是機器人技術與深度學習方法相結合的應用。

背景技術

對于移動機器人而言，在面對未知環境時，需要使用自身所配備的傳感裝置來感知周圍環境，通過移動來構建環境映射地圖并明確自己在地圖中的位置。因此，實現機器人自身定位并同時建立環境地圖是研究機器人的關鍵技術之一。機器人SLAM技術的基本原理是移動機器人對自身所處的位置環境進行感知，建立一個連續的環境映射地圖，并在地圖完成自身的精確定位。

然而，傳統的SLAM方法構建的地圖僅適用于機器人自身的定位和導航，而人類卻不能理解地圖的含義，針對這一不足，語義地圖的構建有效解決了這個問題。語義地圖不僅提供了環境空間映射，幫助機器人完成自身定位和導航，而且提供了環境語義信息，便于人類理解機器人所構建的地圖，有效解決了人機交互障礙的問題。因此，實現環境語義地圖的構建對機器人技術的發展、友好的人機互動以及各種復雜任務的順利完成具有重要的意義。

發明內容

本發明提供了一種系統復雜度低、實時性好以及準確度較高的基于單目視覺的移動機器人語義地圖構建系統。

本發明實現上述發明目的的技術方案是：基于單目視覺的移動機器人語義地圖構建系統，其創新點在于：包括如下步驟：

(1)、移動機器人語義地圖構建系統中，移動機器人視為一個智能體，配備有視覺傳感器，計算機，進行環境語義地圖的構建工作；

(2)、移動機器人在構建環境語義地圖時，先需要對場景圖像進行采集和處理，利用圖像在線篩選策略來獲取可靠的數據集；

(3)、移動機器人采用一種改進的ORB_SLAM方法，在提取ORB特征時采用一種自適應角點檢測方法，同時在關鍵幀篩選過程中，利用一種基于機器人旋轉度的關鍵幀插入方法，最終建立出用于描述環境的映射地圖；

(4)、移動機器人采用深度學習方法對不同場景的圖像進行分類訓練，并用訓練好的模型對環境映射地圖中的關鍵幀圖像作分類識別，從而為映射地圖添加語義標簽；

(5)、移動機器人在完成語義地圖構建之后，需要保存語義地圖，并實現地圖加載與重定位功能。

上述步驟(2)中采用圖片在線篩選策略來降低噪聲干擾，具體方法如下：

(2a)、移動機器人以固定的時間間隔在各個場景中進行圖片采集，首先初始化選取n張靜態場景作為參考圖片存入數據集img中；

(2b)、移動機器人繼續移動并采集圖像，對于當前所拍攝的圖像img_c，依次計算圖像img_c與數據集中的圖像img_i之間的相似性S，取相似性指數最高值與閾值進行比較，若大于閾值則存放至數據集中，以此方法直至數據集采集完畢；

圖像相似性S計算方法如下：

S(img_c,img_i)＝max(SSIM(img_c,img_i)),i＝1,2,...,N