[發明專利]一種基于車載攝像頭視覺的移動機器人定位系統及方法

有效

• 申請號: 202010897209.8
• 申請日: 2020-08-31
• 公開（公告）號: CN112025709B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 王翔宇;劉維明;梁靜思;梁升一;李世華
• 申請（專利權）人: 東南大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 許小莉

1.一種用基于車載攝像頭視覺的移動機器人定位系統進行移動機器人定位方法，所述基于車載攝像頭視覺的移動機器人定位系統，硬件平臺包括輪式移動機器人、RGB-D攝像頭、Jetson TX2計算單元，所述輪式移動機器人搭載STM32單片機控制器，所述RGB-D攝像頭搭載在輪式移動機器人上用于拍攝圖像幀，所述Jetson TX2計算單元用于接收RGB-D攝像頭拍攝的圖像幀并進行處理最終完成對輪式移動機器人位置的實時定位，其特征在于，該方法包括以下步驟：

步驟一、圖像處理：Jetson TX2計算單元接收RGB-D攝像頭拍攝的圖像幀，經過圖像處理后，輸出包含帶有BRIEF描述子的ORB特征點的圖像幀；

步驟二、位置跟蹤：基于BA優化算法，利用步驟一中輸出的帶有ORB特征點的圖像幀，在全局地圖中實現對輪式移動機器人上所搭載RGB-D攝像頭的位姿定位，進而完成對輪式移動機器人的位置跟蹤；

步驟三、局部建圖：進行關鍵幀篩選、關鍵幀位姿優化和局部地圖點位姿優化；

步驟四、回環檢測：使用圖像匹配的方式判斷路徑是否形成回環，若形成回環則可根據回環路徑上各個位置之間的相互關聯關系對路徑進行修正，同時對所建地圖中的關鍵幀位姿和地圖點位姿進行修正；

所述步驟一中，所述圖像處理環節采用GPU加速的ORB特征點提取與匹配算法，具體過程為：

首先，Jetson TX2計算單元的CPU接收RGB-D攝像頭拍攝的圖像幀，并上傳至JetsonTX2計算單元的GPU；

而后，CPU等待GPU提取圖像幀的ORB特征點，提取結束后接收GPU提取出的圖像幀的ORB特征點，并進行篩選，篩選后的圖像幀的ORB特征點再次上傳至GPU；

最后，GPU完成BRIEF描述子計算后將計算結果上傳至CPU，CPU最終得到包含帶有BRIEF描述子的完整的ORB特征點的圖像幀并輸出；

所述步驟二中具體包括如下步驟：

(1)假設輪式移動機器人是做勻速直線運動的，采用基于運動模型的定位方法進行移動機器人的位置跟蹤，然后驗證該假設是否成立，如果該假設成立則轉入步驟(3)，如果該假設不成立則轉入步驟(2)，

所述基于運動模型的定位方法具體過程如下：

首先，假設上一圖像幀的相機位姿為F_n-1，上一圖像幀到當前圖像幀的位姿變換矩陣為T_n，則計算出當前圖像幀位姿F_n＝T_n×F_n-1；

而后，選擇上一圖像幀所觀測到的地圖點集合S，對于集合S中的每一個特征點p，將p反投影到當前圖像幀中，位置為p′，設置閾值r，如果p′在當前圖像幀以r為半徑的區域內存在與之匹配的ORB特征點，則p點匹配成功，否則匹配失敗舍去該特征點，上一圖像幀所觀測到的地圖點集合S中匹配成功的ORB特征點組成集合S′，大小為n₁，設置閾值N₁，若n₁N₁，則該算法失效，假設錯誤，直接轉入步驟(2)；

否則繼續執行，以所計算出的當前圖像幀位姿F_n和S′作為BA優化算法的輸入，迭代出理論上更加精確的新的當前圖像幀位姿F′_n，如果BA優化算法所篩選出的合格匹配點個數大于10，F′_n即為該算法所得到的最終結果，轉入步驟(3)，否則該算法失效，轉入步驟(2)；

(2)在基于運動模型的定位方法失效時，采用基于參考關鍵幀的定位方法進行移動機器人的位置跟蹤，如果該方法執行成功則轉入步驟(3)，如果該方法執行不成功則轉入步驟(4)，參考幀設置為上一圖像幀，其具體過程如下：

首先，將上一圖像幀與當前圖像幀的ORB特征點進行匹配，并將匹配成功且存在對應地圖點的ORB特征點放入集合S′，設S′的大小為n₁，設置閾值N₁，如果n₁N₁，則該算法失效，直接轉入步驟(4)；

否則繼續執行，將上一圖像幀位姿作為當前圖像幀的初始位姿F_n，S′與F_n作為BA優化算法的輸入，得到新的當前圖像幀位姿F′_n，如果BA優化算法所篩選出的合格匹配點個數大于10，F′_n即為該算法所得到的最終結果，轉入步驟(3)，否則該算法失效，轉入步驟(4)；

(3)局部地圖定位方法：

建立一個局部地圖，它包含當前圖像幀附近范圍內的所有地圖點，設這些地圖點的集合為S_small，

以步驟(1)或步驟(2)中得到的新的當前圖像幀位姿F′_n和S_small作為BA優化算法的輸入，得到新的更加精確的當前圖像幀位姿F″_n，如果BA優化算法所篩選出的合格匹配點個數大于30，F″_n即為該算法所得的最終結果，轉入步驟三，否則該算法失效，轉入步驟(4)；

(4)重定位：

在當基于運動模型的定位方法、基于參考關鍵幀的定位方法和局部地圖定位方法都失效情況下，對全局的關鍵幀進行搜索，選取合適的關鍵幀作為候選幀，其具體過程如下：

首先，搜索所有關鍵幀，對于每一個關鍵幀，將其ORB特征點與當前圖像幀ORB特征點進行匹配，設成功匹配的ORB特征點數量為n₂，設置閾值N₂，如果n₂N₂，則該關鍵幀入選候選幀；

而后，依此將候選幀與當前圖像幀進行位姿優化，設所選候選幀的位姿為F，當前圖像幀與候選幀所共視的地圖點集合為S_c，將F與S_c作為BA算法得輸入，如果BA優化算法所篩選出得合格匹配點個數大于30，F即為該算法所得的最終結果，轉入步驟三；否則該算法失效，輸出跟蹤信號丟失信號。