[發明專利]機器人多傳感器融合感知與空間定位的方法、系統及裝置有效
| 申請號： | 202011190385.4 | 申請日： | 2020-10-30 |
| 公開（公告）號： | CN112388635B | 公開（公告）日： | 2022-03-25 |
| 發明（設計）人： | 李恩;羅明睿;楊國棟;梁自澤;譚民;郭銳;李勇;劉海波 | 申請（專利權）人： | 中國科學院自動化研究所;國網山東省電力公司 |
| 主分類號： | B25J9/16 | 分類號： | B25J9/16;B25J13/08;B25J19/02 |
| 代理公司： | 北京市恒有知識產權代理事務所(普通合伙) 11576 | 代理人： | 郭文浩;尹文會 |
| 地址： | 100190 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 機器人 傳感器 融合 感知 空間 定位 方法 系統 裝置 | ||
1.一種機器人多傳感器融合感知與空間定位的方法，其特征在于，該方法包括：
步驟S10，獲取機器人多傳感器數據序列；所述機器人多傳感器數據序列包括結構光深度相機采集的視覺數據序列、MARG傳感器采集的運動狀態數據序列和關節編碼器采集的角位移數據序列；
步驟S20，標定與校準結構光深度相機、MARG傳感器和關節編碼器，并基于標定與校準結果對所述機器人多傳感器數據序列進行修正；
步驟S30，通過預設的深度相機視覺增強方法對修正后的機器人多傳感器數據序列中的視覺數據序列進行增強與修復；
步驟S40，進行增強與修復的視覺數據序列的預融合處理，獲得第一預融合位姿序列；進行修正后的運動狀態數據序列的預融合處理，獲得預融合姿態序列；進行修正后的角位移數據序列的預融合處理，獲得第二預融合位姿序列；
步驟S50，基于所述第一預融合位姿序列、第二預融合位姿序列和預融合姿態序列對機器人在環境中的空間狀態進行融合定位，獲得機器人在環境中的位姿序列及空間坐標序列。
2.根據權利要求1所述的機器人多傳感器融合感知與空間定位的方法，其特征在于，所述視覺數據序列包括深度相機采集的彩色圖序列和深度圖序列；所述運動狀態數據序列包括MARG傳感器采集的三軸加速度序列、角速度序列和地磁場強度序列；所述角位移數據序列包括關節編碼器采集的機器人關節的角位移數據序列。
3.根據權利要求2所述的機器人多傳感器融合感知與空間定位的方法，其特征在于，標定與校準結構光深度相機、MARG傳感器和關節編碼器包括：
所述結構光深度相機的標定與校準包括彩色相機標定、紅外相機標定、深度圖漂移修正以及彩色圖與深度圖配準；
所述MARG傳感器的標定與校準包括加速度零漂移校準以及磁場橢球擬合校準；
所述關節編碼器的標定與校準包括編碼器電氣原點與關節旋轉機構機械原點的配準。
4.根據權利要求2所述的機器人多傳感器融合感知與空間定位的方法，其特征在于，所述增強與修復的視覺數據序列的預融合處理包括：
步驟S411，提取所述增強與修復的視覺數據序列中一幀彩色圖的ORB二維特征點，并在與當前幀彩色圖配準的深度圖中提取所述ORB二維特征點對應的深度測量值；
步驟S412，若能提取深度測量值，則將該ORB二維特征點作為ORB三維特征點；否則，則仍作為ORB二維特征點；
步驟S413，將當前幀的所有特征點與當前幀的前一幀的所有的特征點進行匹配追蹤，獲得特征點對；
步驟S414，若所述特征點對中的特征點均為ORB三維特征點，則通過ICP算法得到兩幀之間的位姿變換矩陣；否則，通過PnP算法得到兩幀之間的位姿變換矩陣；
步驟S415，判斷所述ORB三維特征點的追蹤是否丟失，若未丟失，則直接將追蹤得到的相機位姿變換矩陣作為新的關鍵幀加入已有的關鍵幀序列中；若已丟失，則調用當前幀對應的關節編碼器和MARG傳感器的預融合測量值作為新關鍵幀序列中初始關鍵幀的相機位姿變換矩陣；
步驟S416，將獲取的關鍵幀序列進行位姿圖優化，獲得待優化相機位姿序列，并進行所述待優化相機位姿序列的閉環修正，獲得第一預融合位姿序列。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學院自動化研究所;國網山東省電力公司，未經中國科學院自動化研究所;國網山東省電力公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011190385.4/1.html，轉載請聲明來源鉆瓜專利網。
