[發明專利]激光與視覺融合的一體化室內機器人全局定位方法

在審

• 申請號: 202011373978.4
• 申請日: 2020-11-30
• 公開（公告）號: CN112596064A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 邸慧軍;羅云翔;碩南;徐志;張展華
• 申請（專利權）人: 中科院軟件研究所南京軟件技術研究院
• 主分類號: G01S17/06
• 分類號: G01S17/06;G01S17/86;G01S17/89
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 陳月菊

1.一種激光與視覺融合的一體化室內機器人全局定位方法，其特征在于，所述全局環境定位方法包括以下步驟：

S1，在機器人到達新的環境時或環境發生改變時，接收激光定位模塊提供的機器人位姿信息，采用視覺全局定位模塊和激光全局定位模塊同時采集視覺圖像和激光圖像，建立全局定位環境庫，所述全局定位環境庫包括視覺全局定位庫和激光全局定位庫；其中，視覺全局定位模塊同時接收激光定位模塊發送的所有視覺幀的位姿和激光全局定位模塊發送的關鍵幀信息，基于激光建圖結果，構建激光地圖坐標系下的視覺定位地圖；

S2，在機器人初始定位、重定位或閉環檢測過程中，利用機器人當前位置的視覺圖像和激光信息，在全局定位環境庫中進行檢索與匹配，確定機器人的位姿。

2.根據權利要求1所述的激光與視覺融合的一體化室內機器人全局定位方法，其特征在于，所述關鍵幀至少滿足以下條件中的任意一個：

(1)機器人轉動角度大于預設角度閾值，(2)機器人移動距離大于預設距離閾值，(3)采用當前幀圖像與前一個關鍵幀圖像的特征點的匹配信息評估兩者之間的內容重疊度時，當前幀圖像與前一個關鍵幀圖像的內容重疊度小于第一預設重疊度閾值，(4)采用ICP算法計算當前幀激光與前一個關鍵幀激光兩者之間激光數據配準程度，評估得到的當前幀激光與前一個關鍵幀激光的內容重疊度小于第二預設重疊度閾值。

3.根據權利要求1所述的激光與視覺融合的一體化室內機器人全局定位方法，其特征在于，步驟S1中，所述建立全局定位環境庫的過程包括以下步驟：

S11，對激光定位模塊、視覺全局定位模塊和激光全局定位模塊進行系統時鐘對準；

S12，接收用戶界面模塊發送的開始建圖命令，依次進行以下操作：

S121，利用視覺全局定位模塊采集當前場景的視覺圖像，對采集的視覺圖像進行在線預處理，從視覺圖像中提取并保存圖像特征信息；

S122，驅使激光定位模塊構建當前場景下的激光地圖；

S123，利用激光全局定位模塊采集當前場景下的激光數據，對采集的激光數據進行在線預處理，從激光數據中檢測得到關鍵幀，提取并保存關鍵幀中的激光特征信息；

S13，接收用戶界面模塊發送的結束建圖命令；

S14，視覺全局定位模塊調用激光定位模塊的接口獲取所有圖像幀的位姿，同時接收激光全局定位模塊發送的關鍵幀信息，對保存的圖像特征進行特征點幀間匹配與跟蹤，提取額外的關鍵幀，對特征點3D坐標優化，建立關鍵幀的視覺詞袋庫，保存得到視覺全局定位庫；

S15，激光全局定位模塊調用激光定位模塊的接口獲取所有關鍵幀的位姿和子地圖信息，建立關鍵幀和子地圖間的關系，構建關鍵幀的激光詞袋庫，保存得到激光全局定位庫。

4.根據權利要求3所述的激光與視覺融合的一體化室內機器人全局定位方法，其特征在于，步驟S131中，所述對保存的圖像特征進行特征點幀間匹配與跟蹤的過程包括以下步驟：

在幀間匹配時，利用幀間運動預測，對前一幀的每個特征點，獲得當前幀的特征點預測位置，然后與預測位置周圍的特征點進行匹配，選取特征向量最相近的作為匹配結果。

5.根據權利要求3所述的激光與視覺融合的一體化室內機器人全局定位方法，其特征在于，步驟S14中，所述對特征點3D坐標優化的過程包括以下步驟：

S141，得到激光定位模塊提供的位姿信息，估算位姿之間的差異值；

S142，對每個特征點，任意選擇兩個位姿差異值大于預設差異閾值的關鍵幀直接計算得到特征點的3D坐標；

S143，利用特征點在多個關鍵幀中的像素坐標，優化特征點在全局地圖坐標系下的3D坐標；其中，優化目標是求解最優的特征點3D坐標，使得特征點按照每個關鍵幀位姿投影到關鍵幀圖像上的投影坐標與特征點的像素坐標間的誤差盡量小。