[發明專利]基于實例分割與多傳感器融合的移動機器人定位方法、系統及介質

有效

• 申請號: 202011393477.2
• 申請日: 2020-12-03
• 公開（公告）號: CN112734765B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 戴詩陸;紀淮寧
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/207;G06T7/73;G01C21/00;G01C21/20
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.基于實例分割與多傳感器融合的移動機器人定位方法，其特征在于，包括下述步驟：

對相機圖像進行目標實例分割，得到分割掩膜；

根據語義標簽和分割掩膜，對目標實例分割后的靜態物體部分進行特征點的提取和追蹤；

基于針孔相機的立體視覺模型，由同一特征點在左右相機中的投影視差計算出該點的深度值，從而獲取特征點的三維坐標，根據特征點在相機上的投影坐標和在世界坐標下的三維坐標，使用EPnP算法對當前相機的位姿進行求解；

建立IMU測量模型，使用預積分的方式進行位姿解算；所述IMU測量模型，具體為：

其中，為機器人運動過程中加速度計和陀螺儀傳感器上的測量值，a_t，ω_t為機器人運動的實際加速度和角速度值，n_a，n_ω分別為兩種傳感器測量的隨機噪聲，為t時刻兩個傳感器測量的偏差噪聲，為t時刻IMU在世界坐標系下的姿態，g^w表示重力向量；

所述使用預積分的方式進行位姿解算，具體為：

其中：

分別為位置、速度和姿態的預積分值，表示第i-1幀時刻世界坐標系轉化為機器人坐標系的旋轉矩陣，和分別表示機器人在t時刻相對于第i-1幀時刻的旋轉變化的旋轉矩陣形式和四元數形式，表示第i幀時刻的機器人相對于世界坐標的位置與姿態的四元數表示，表示第i幀時刻的速度，同理，表示第i-1時刻，Δt表示IMU數據之間的時間間隔；通過IMU測量獲得機器人當前時刻的位置，姿態和速度；

根據圖像亮度、動態物體覆蓋情況、特征點提取情況和平均深度，選取位姿初值的更新方式；

構建IMU預積分的測量殘差、視覺重投影殘差，進行緊耦合的非線性優化，獲取更加準確的位姿狀態。

2.根據權利要求1所述基于實例分割與多傳感器融合的移動機器人定位方法，其特征在于，采用Mask?R-CNN算法對相機圖像進行目標實例分割，將相機圖像中的背景、人物、動物和車輛分割開，并獲取對應的語義標簽，根據語義標簽信息，將常識中被認為可移動的物體上的像素標記為1，不可移動的物體上的像素標記為0，得到由0、1組成的分割掩膜。

3.根據權利要求1所述基于實例分割與多傳感器融合的移動機器人定位方法，其特征在于，所述對目標實例分隔后的靜態物體部分進行特征點的提取和追蹤，具體為：

根據得到的分割掩膜，在標記為0的像素區域提取FAST角點作為特征點，在往后圖像幀和左右圖像幀中使用KLT稀疏光流算法對特征點進行追蹤，追蹤到的特征點和原先的特征點標記為同一點。

4.根據權利要求1所述基于實例分割與多傳感器融合的移動機器人定位方法，其特征在于，使用MyntEye-D相機，根據其成像原理構建針孔相機的立體視覺模型，數學轉化關系如下：

其中，u和v分別為特征點在圖像上的橫縱坐標系，X,Y,Z為特征點在相機坐標系下的三維坐標，f_x，f_y為相機的橫向焦距和縱向焦距，u₀，v₀為相機中心點的坐標參數；

基于針孔相機立體視覺模型，根據同一個特征點在左右相機圖像上的視差計算出該點的深度信息，其計算公式為：

d＝u_L-u_R

其中，b為左右相機光心的距離，d為視差，u_L和u_R分別為特征點在左相機和右相機上投影的橫坐標，f_x為橫向焦距；

已知前一幀的特征點在相機坐標系下的三維坐標以及相機的位姿，使用坐標系轉化公式獲取特征點在世界坐標系下的三維坐標，基于特征點的三維坐標和當前幀的投影坐標使用EPnP算法求解出當前幀的相機位姿。