[發明專利]基于單目視覺的移動機器人語義地圖構建系統

有效

• 申請號: 202010156120.6
• 申請日: 2020-03-09
• 公開（公告）號: CN111368759B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 范新南;顧亞飛;倪建軍;史朋飛;羅成名;田斌
• 申請（專利權）人: 河海大學常州校區
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/764;G06V10/82;G06N3/04;G01C21/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 丁濤

1.基于單目視覺的移動機器人語義地圖構建系統，包括如下步驟：

(1)、移動機器人語義地圖構建系統中，移動機器人視為一個智能體，配備有攝像頭，計算機設備；

(2)、移動機器人在構建環境語義地圖時，先需要對場景圖像進行采集和處理，利用圖像在線篩選策略來獲取可靠的數據集,具體方法如下：

(2a)、移動機器人以固定的時間間隔在各個場景中進行圖片采集，首先初始化選取n張靜態場景作為參考圖片存入數據集img中；

(2b)、移動機器人繼續移動并采集圖像，對于當前所拍攝的圖像img_c，依次計算圖像img_c與數據集中的圖像img_i之間的相似性S，取相似性指數最高值與閾值進行比較，若大于閾值則存放至數據集中，以此方法直至數據集采集完畢；

圖像相似性S計算方法如下：

S(img_c,img_i)＝max(SSIM(img_c,img_i)),i＝1,2,...,N；

其中，N為場景數據集中已有圖片的數量；x為img_c，y為img_i；μ_x，σ_x分別為當前圖像x的像素平均值與方差；μ_y，σ_y為圖像y的像素均值和方差；σ_xy為兩圖像的協方差；c₁，c₂為常系數；

(3)、移動機器人采用改進的ORB_SLAM方法，建立出環境的映射地圖；

(4)、移動機器人采用深度學習方法對不同場景的圖像進行分類訓練，并用深度學習訓練模型，對環境映射地圖中的關鍵幀圖像作分類識別，從而為映射地圖添加語義標簽；

(5)、移動機器人在完成語義地圖構建之后，保存語義地圖，并實現地圖加載與重定位功能，方便移動機器人在相同的環境下進行二次任務。

2.根據權利要求1所描述的基于單目視覺的移動機器人語義地圖構建系統，其特征在于：所述步驟(3)中改進的ORB_SLAM算法如下：

(3a)、移動機器人利用攝像頭提取場景的ORB特征，采用一種基于圖像對比度的自適應閾值選取方法，使得算法在特征點提取過程中，能夠根據實際場景對比度的不同，對閾值t進行自適應調整，具體公式如下：

其中，α為比例系數；I(x_i)為圖像各個像素點的灰度值；為圖像的灰度均值；

(3b)、選取兩幀圖像并計算兩者之間的相對位置，來對地圖進行初始化，若成功追蹤到上一幀的圖像，則計算出機器人當前位置；反之，需要利用索引技術在構建的詞袋模型數據庫中對當前幀進行匹配，找到最相似的場景圖像并進行優化；

(3c)、采用基于機器人旋轉度的關鍵幀插入方法，來確保機器人在轉彎處進行旋轉移動時不會丟失跟蹤；使用一個四元素來表示機器人在三維空間中的旋轉；假設物體繞單位向量n＝[n_x,n_y,n_z]^T旋轉了θ角度，則四元素的數學方程可表示為：

機器人的轉彎過程能夠視為繞z軸進行旋轉，利用四元素向量求出旋轉角度θ，并計算出相鄰兩幀圖像的旋轉角度差的絕對值Δθ，用來表示機器人旋轉度；定義任意兩幀圖像i、j之間的旋轉度為中間所有相鄰兩幀圖像的旋轉度之和，表示為：

(3d)、將滿足判定機制的圖像幀插入到關鍵幀序列中，并對關鍵幀中的點云進行預處理來建立匹配關系，然后剔除不滿足條件的部分地圖云點來建立新的地圖云點，再對前面所有的變量進行局部BA優化并刪除部分無效觀測點，最后將冗余的關鍵幀刪除，避免產生過多的關鍵幀；

(3e)、當地圖中存在的關鍵幀數量大于10幀或從上次閉環檢測之后經過多于10幀圖像時，系統需要作一個閉環回路檢測，將局部地圖中優化后的關鍵幀與之前的關鍵幀作相似判斷，判斷相機當前運動是否存在閉合回路；若存在閉合回路，需要對回路進行修正，將地圖中重復的云點進行融合，并向共視圖里插入與回環相關聯的新邊緣；為了能夠有效地實現閉環回路，選擇在本質圖上進行優化，使得回環過程中的累積誤差分散至位姿圖中；使用相似轉換矩陣進行優化，糾正尺度偏差，最后地圖云點根據相應的關鍵幀來更新其三維信息。