[發明專利]基于實例分割與多傳感器融合的移動機器人定位方法、系統及介質

有效

• 申請號: 202011393477.2
• 申請日: 2020-12-03
• 公開（公告）號: CN112734765B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 戴詩陸;紀淮寧
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/207;G06T7/73;G01C21/00;G01C21/20
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于實例分割與多傳感器融合的移動機器人定位方法、系統及介質，方法包括下述步驟：對相機圖像進行目標實例分割；對分割后的圖像提取并追蹤特征點；計算特征點深度值并使用EPnP算法進行位姿解算；基于IMU預積分的位姿解算；根據實例分割信息和特征點提取情況，選擇位姿初值的更新方式；視覺傳感器與IMU進行緊耦合的位姿優化，獲取精準的姿態；本發明獲取圖像的實例分割信息，選取復雜環境中的靜態特征點作為基準，估計自身位姿狀態，并且可以在相機定位不理想時切換至IMU更新定位初值信息，使得機器人的定位在高度動態環境下也具有精準度和魯棒性。

技術領域

本發明屬于智能移動機器人感知領域，具體涉及一種基于實例分割與多傳感器融合的定位方法、系統及介質。

背景技術

機器人發明的初衷是幫助人類完成一些瑣碎、服務性、機械性、甚至具有一定危險性的任務，使人們的生活更加輕松美好。本世紀以來，機器人技術得到了迅猛發展。各色各類的機器人開始出現在人們的生活中，如巡邏機器人、掃地機器人、勘測機器人、快遞分斂機器人等。移動機器人作為機器人中的大類，很多情況下需要在移動的過程中完成自身的任務。這要求它們需要像人類一樣，能夠辨別周邊的環境，根據環境信息進行自主導航。其中，獲取自身在周圍環境中的位置便是解決移動機器人自主導航問題的基礎。

目前已知用于移動機器人定位的主要傳感器包括激光雷達、聲納傳感器、GPS、視覺傳感器和慣性測量單元。其中，激光雷達和聲吶傳感器因為其可以直接獲取環境中物體精準的三維空間位置，減輕了算法負擔，研究已經取得重大突破。但此類傳感器價格比較昂貴，不符合低成本的需求。若使用GPS導航儀，其精度的高低深受環境的影響，在室內環境下會出現嚴重偏差。再者，即使在室外環境下，GPS最好的精度也只能達到分米制級別。對于車輛的導航可能有不錯的效果，但對于移動機器人這種小范圍的活動，這種程度的誤差并不能被接受。隨著計算機視覺的飛速發展，基于視覺傳感器的定位方法逐漸成為重點研究方向。視覺傳感器擁有豐富的像素信息，且定位原理上與人類自身的定位機理極為相似，有著不錯的定位精度。但絕多數的視覺定位方法都以假定環境為不發生變化的剛體為前提來進行定位，當圖像中出現正在移動的物體時，誤以該物體上的特征作為定位基準將會對機器人的定位造成重大誤差，高度動態環境下甚至導致定位失敗。為了解決上述問題，本發明將深度學習中的實例分割技術應用到機器人的視覺定位方法中，剔除圖像中的動態物體。同時，融合相機和IMU的傳感器信息，獲取更加精確的定位數據。

發明內容

本發明的主要目的在于克服傳統視覺定位方法在動態環境下的不足，提供一種基于實例分割與多傳感器融合的移動機器人定位方法、系統及介質，根據該定位方法可計算出較為精準的機器人位置與姿態，且該定位系統具有較強的魯棒性。

為了達到上述目的，本發明采用以下技術方案：

本發明提供的一種基于實例分割與多傳感器融合的移動機器人定位方法，包括下述步驟：

對相機圖像進行目標實例分割，得到分割掩膜；

根據語義標簽和分割掩膜，對目標實例分割后的靜態物體部分進行特征點的提取和追蹤；

基于針孔相機的立體視覺模型，由同一特征點在左右相機中的投影視差計算出該點的深度值，從而獲取特征點的三維坐標，根據特征點在相機上的投影坐標和在世界坐標下的三維坐標，使用EPnP算法對當前相機的位姿進行求解；

建立IMU測量模型，使用預積分的方式進行位姿解算；

根據圖像亮度、動態物體覆蓋情況、特征點提取情況和平均深度，選取位姿初值的更新方式；

構建IMU預積分的測量殘差、視覺重投影殘差，進行緊耦合的非線性優化，獲取更加準確的位姿狀態。