[發明專利]機器人多傳感器融合感知與空間定位的方法、系統及裝置

有效

• 申請號: 202011190385.4
• 申請日: 2020-10-30
• 公開（公告）號: CN112388635B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 李恩;羅明睿;楊國棟;梁自澤;譚民;郭銳;李勇;劉海波
• 申請（專利權）人: 中國科學院自動化研究所;國網山東省電力公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J13/08;B25J19/02
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于機器人環境感知技術領域，具體涉及了一種機器人多傳感器融合感知與空間定位的方法、系統及裝置，旨在解決環境中多因素綜合的不利干擾條件導致機器人感知與空間定位準確度與精度低的問題。本發明包括：采集深度相機、MARG傳感器以及關節編碼器的原始數據；結合傳感器標定與校準結果，對采集的數據進行修正；對深度相機采集的視覺數據進行增強與修復；基于視覺特征點、四元數姿態以及機器人機構運動學原理對視覺數據、運動狀態數據以及角位移數據分別進行預融合處理；借助擴展卡爾曼濾波器以及模糊理論，利用預融合后的多傳感器數據完成機器人在環境中的空間融合定位。本發明實現了多因素綜合的不利干擾下的高精度機器人感知與空間定位。

技術領域

本發明屬于機器人環境感知技術領域，具體涉及了一種機器人多傳感器融合感知與空間定位的方法、系統及裝置。

背景技術

在航空制造、電力輸送等領域有著大量非結構化的復雜作業場景，障礙物多、低光照、弱對比度、強反射是該場景的主要特點。這類場景一般很難依靠人力完成作業，因此需要研究能夠實現避障前進、對象檢測、維護作業等操作的智能機器人，而實現這些操作的前提是機器人能夠對作業場景進行環境感知與空間定位。

目前應用最廣泛的室內環境感知與空間定位方案采用機器視覺技術，然而復雜環境中的低光照、弱對比度、強反射等干擾因素對于視覺處理帶來較大難度，同時非結構化環境中的障礙物測量與空間環境探測很難通過單一感知手段予以解決。

發明內容

為了解決現有技術中的上述問題，即環境中多因素綜合的不利干擾條件導致機器人感知與空間定位準確度與精度低的問題，本發明提供了一種機器人多傳感器融合感知與空間定位的方法，該方法包括：

步驟S10，獲取機器人多傳感器數據序列；所述機器人多傳感器數據序列包括結構光深度相機采集的視覺數據序列、MARG傳感器采集的運動狀態數據序列和關節編碼器采集的角位移數據序列；

步驟S20，標定與校準結構光深度相機、MARG傳感器和關節編碼器，并基于標定與校準結果對所述機器人多傳感器數據序列進行修正；

步驟S30，通過預設的深度相機視覺增強方法對修正后的機器人多傳感器數據序列中的視覺數據序列進行增強與修復；

步驟S40，進行增強與修復的視覺數據序列的預融合處理，獲得第一預融合位姿序列；進行修正后的修正后的運動狀態數據序列的預融合處理，獲得預融合姿態序列；進行修正后的角位移數據序列的預融合處理，獲得第二預融合位姿序列；

步驟S50，基于所述第一預融合位姿序列、第二預融合位姿序列和預融合姿態序列對機器人在環境中的空間狀態進行融合定位，獲得機器人在環境中的位姿序列及空間坐標序列。

在一些優選的實施例中，所述視覺數據序列包括深度相機采集的彩色圖序列和深度圖序列；所述運動狀態數據序列包括MARG傳感器采集的三軸加速度序列、角速度序列和地磁場強度序列；所述角位移數據序列包括關節編碼器采集的機器人關節的角位移數據序列。

在一些優選的實施例中，標定與校準結構光深度相機、MARG傳感器和關節編碼器包括：

所述結構光深度相機的標定與校準包括彩色相機標定、紅外相機標定、深度圖漂移修正以及彩色圖與深度圖配準；

所述MARG傳感器的標定與校準包括加速度零漂移校準以及磁場橢球擬合校準；

所述關節編碼器的標定與校準包括編碼器電氣原點與關節旋轉機構機械原點的配準。

在一些優選的實施例中，所述增強與修復的視覺數據序列的預融合處理包括：

步驟S411，提取所述增強與修復的視覺數據序列中一幀彩色圖的ORB二維特征點，并在與當前幀彩色圖配準的深度圖中提取所述ORB二維特征點對應的深度測量值；