[發明專利]一種RONIN和6DOF定位融合的方法和硬件系統框架

在審

• 申請號: 202111569789.9
• 申請日: 2021-12-21
• 公開（公告）號: CN114295127A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 陳常;邸新漢;費越
• 申請（專利權）人: 上海魚微阿科技有限公司
• 主分類號: G01C21/16
• 分類號: G01C21/16;G01C21/18;G01C21/20;G06T19/00;H04W4/02;H04W4/021
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種RONIN和6DOF定位融合的方法和硬件系統框架，其方法包括以下步驟：A、傳感器輸出模塊采集多個攝像頭和IMU的數據傳輸到預處理模塊；B、預處理模塊進行特征提取和跟蹤、預積分和將IMU數據傳到IMU線程；C、位姿解算模塊融合特征提取和跟蹤的結果以及IMU預積分的結果進入靜止判斷。本發明通過RONIN和6DOF定位融合的方式提升定位的精度和性能，在提出的硬件系統上能夠降低計算功能，提升邊緣計算能力，并能夠解決當攝像頭對著天空、水面、地下等情況下的定位，能夠應用在頭盔和雙手柄交互中對手柄進行長時間的定位，同時能夠在手套不在攝像頭范圍或者雙手柄折疊或交疊時進行精準定位。

技術領域

本發明涉及計算機技術領域，具體為一種RONIN和6DOF定位融合的方法和硬件系統框架。

背景技術

隨著計算機視覺的發展，虛擬現實(Virtual Reality，VR)和增強現實(ArgumentReality，AR)眼鏡、機械臂、智能手機和機器人都需要高精度的位姿進行定位，消費級別的產品主要使用價格低廉的攝像頭和慣性測量單元(Inertial measurement unit，IMU)進行定位，IMU的零偏容易受到溫度、濕度、電流、震動和應力的影響，只能用于短時間的定位，在長時間情況下容易產生大量漂移，視覺和IMU融合定位的方法主要使用圖優化的方法或者濾波器的方法，但是這些方法無法在攝像頭對著天空、水面、地下等情況下進行定位。

在VR和AR領域，主要使用頭盔和雙手柄來進行交互和體驗，手柄定位是通過頭盔的攝像頭在短曝光情況下看到手柄上的紅外光電發射的紅外光，通過檢測光點并使用PNP(Perspective-N-Point)的方法計算初步的位姿，然后融合手柄傳輸的IMU數據進行融合對手柄進行定位，但是手柄不在頭盔攝像頭范圍內或者手柄距離頭盔較遠無法檢測光點情況下，無法對手柄進行長時間的跟蹤，尤其是在用戶戴著頭盔將手柄放到身后時無法對手柄進行定位，非常影響用戶體驗，在交互體驗中，用戶帶著頭盔使用手套代替手柄逐漸形成一種新的交互方式，手套上可以通過多個IMU進行定位，結合頭盔中的定位算法進行融合提升交互的精度，但是在手套不在攝像頭范圍時，無法實現精準地定位，兩個手套在遮擋或者交疊等情況下定位精度降低，在長時間的體驗中會給用戶錯亂的信息導致用戶眩暈等情況。

發明內容

本發明的目的在于提供一種RONIN和6DOF定位融合的方法和硬件系統框架，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種RONIN和6DOF定位融合的方法，其方法包括以下步驟：

A、傳感器輸出模塊采集多個攝像頭和IMU的數據傳輸到預處理模塊；

B、預處理模塊進行特征提取和跟蹤、預積分和將IMU數據傳到IMU線程；

C、位姿解算模塊融合特征提取和跟蹤的結果以及IMU預積分的結果進入靜止判斷；

D、如果是在靜止情況下進行零速更新，在非靜止情況下進行6DOF估計，然后融合進行位姿輸出(包含估計的旋轉、速度、平移、IMU的零偏、出世界坐標系下的加速度、角加速度)；

E、IMU buffer輸出IMU的加速度、角加速度，傳入IMU buffer和EKF濾波器，IMUbuffer輸出世界坐標系下的加速度、角加速度到基于transformer的NIN中；

F、基于transformer的NIN輸出位移和不確定性到EKF濾波器中，EKF濾波器輸出估計的旋轉到IMU buffer，輸出估計的旋轉、速度、平移、IMU的零偏到融合模塊中；

G、融合模塊進行外點剔除，并將基于transformer的融合和位姿預測，最后對外進行高頻輸出。

優選的，所述Section1基于transformer的NIN，其方法包括以下步驟：