[發明專利]一種基于視覺的機器人避障方法

有效

• 申請號: 202011374292.7
• 申請日: 2020-11-30
• 公開（公告）號: CN112486171B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 徐志;羅云翔;邸慧軍;碩南;張展華
• 申請（專利權）人: 中科院軟件研究所南京軟件技術研究院
• 主分類號: G05D1/02
• 分類號: G05D1/02;G05B19/042
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 陳月菊

1.一種基于視覺的機器人避障方法，其特征在于，所述避障方法包括以下步驟：

S1，利用激光全局定位模塊和視覺全局定位模塊對各自采集的激光數據和圖像數據進行關鍵幀處理，所述關鍵幀至少滿足以下條件中的任意一個：

(1)機器人轉動角度大于預設角度閾值；(2)機器人移動距離大于預設距離閾值；(3)采用當前幀圖像與前一個關鍵幀圖像的特征點的匹配信息評估兩者之間的內容重疊度時，當前幀圖像與前一個關鍵幀圖像的內容重疊度小于第一預設重疊度閾值；(4)采用ICP算法計算當前幀激光與前一個關鍵幀激光兩者之間激光數據配準程度，評估得到的當前幀激光與前一個關鍵幀激光的內容重疊度小于第二預設重疊度閾值；

構建全局定位環境庫，所述全局定位環境庫包括視覺全局定位庫和激光全局定位庫；其中，視覺全局定位模塊同時接收激光定位模塊發送的所有圖像幀的位姿和激光全局定位模塊發送的關鍵幀信息，基于激光建圖結果，構建激光地圖坐標系下的視覺定位地圖；

所述構建全局定位環境庫的過程包括以下步驟：

S11，對激光定位模塊、視覺全局定位模塊和激光全局定位模塊進行系統時鐘對準；

S12，接收用戶界面模塊發送的開始建圖命令，依次進行以下操作：

S121，利用視覺全局定位模塊采集當前場景的視覺圖像，對采集的視覺圖像進行在線預處理，從視覺圖像中提取并保存圖像特征信息；

S122，驅使激光定位模塊構建當前場景下的激光地圖；

S123，利用激光全局定位模塊采集當前場景下的激光數據，對采集的激光數據進行在線預處理，從激光數據中檢測得到關鍵幀，提取并保存關鍵幀中的激光特征信息；

S13，接收用戶界面模塊發送的結束建圖命令；

S14，視覺全局定位模塊調用激光定位模塊的接口獲取所有圖像幀的位姿，同時接收激光全局定位模塊發送的關鍵幀信息，對保存的圖像特征進行特征點幀間匹配與跟蹤，提取額外的關鍵幀，對特征點3D坐標優化，建立關鍵幀的視覺詞袋庫，保存得到視覺全局定位庫；

S15，激光全局定位模塊調用激光定位模塊的接口獲取所有關鍵幀的位姿和子地圖信息，建立關鍵幀和子地圖間的關系，構建關鍵幀的激光詞袋庫，保存得到激光全局定位庫；

S2，對機器人當前位置的視覺圖像和激光信息進行處理，提取其中特征信息，在全局定位環境庫中進行檢索與匹配，確定機器人的實時位姿和對應的視覺特征地圖，在視覺定位地圖上進行全局定位，生成局部代價地圖，包括：

S21，對激光定位模塊、視覺全局定位模塊和激光全局定位模塊進行系統時鐘對準；

S22，視覺全局定位模塊加載視覺全局定位庫，激光全局定位模塊加載激光全局定位庫，訂閱odomtf；

S23，視覺全局定位模塊對當前幀圖像提取圖像特征，計算詞袋向量，在視覺全局定位庫中檢索關鍵幀；

S24，激光全局定位模塊對當前幀對應的激光數據提取激光特征，計算詞袋向量，在激光全局定位庫中檢索關鍵幀；

S25，綜合視覺全局定位模塊和激光全局定位模塊的關鍵幀檢索結果，構建候選關鍵幀集合；

S26，對候選關鍵幀集合中的每個關鍵幀，與當前幀進行圖像特征匹配以及激光特征匹配，剔除無效關鍵幀，構建優選關鍵幀集合；

S27，對優選關鍵幀集合中的每個關鍵幀，得到其與當前幀圖像特征匹配結果，基于匹配結果估計得到視覺位姿，評估視覺位姿的估計質量；

S28，將優選關鍵幀集合對應的激光子地圖集合中的每個子地圖，與當前幀的激光數據依次進行匹配，估計得到激光位姿，評估激光位姿的估計質量；

S29，綜合視覺全局定位模塊和激光全局定位模塊的位姿估計和質量評估結果，確定并發布最終的全局定位結果；

S3，采用深度視覺傳感器獲取包含障礙物信息的點云數據，對點云數據進行稀疏化處理，提取關鍵有效數據，解析提取數據，結合激光數據得到三維方向上的障礙物信息，在局部代價地圖中標記出障礙物位置信息。

2.根據權利要求1所述的基于視覺的機器人避障方法，其特征在于，所述激光全局定位模塊采用激光雷達。

3.根據權利要求2所述的基于視覺的機器人避障方法，其特征在于，所述視覺全局定位模塊采用單目視覺傳感器。