[發明專利]一種相機與慣性測量單元在線初始化與標定方法及系統

有效

• 申請號: 202010197372.3
• 申請日: 2020-03-19
• 公開（公告）號: CN111429524B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 王賀升;沈玥伶
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/70;G01C25/00
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

本發明提供了一種相機與慣性測量單元在線初始化與標定方法及系統，包括：步驟M1：純視覺初始化，利用相機的觀測量得到初始關鍵幀的位姿并構建初始地圖；步驟M2：視覺與慣性聯合標定與初始化，基于初始關鍵幀的位姿與初始地圖完成慣性測量單元角速度零漂值的初始化與相機和慣性測量單元相對旋轉角和平移量的標定；步驟M3：相機與慣性測量單元融合的同步定位與建圖的過程中，對慣性測量單元角速度零漂值的初始化與相機和慣性測量單元相對旋轉角和平移量的標定進行異常檢測與更新。本發明不需要標定板等人工標定工具即可聯合初始化過程完成對相機與慣性測量單元相對旋轉角和相對平移量的標定，擴大了使用范圍。

技術領域

本發明涉及傳感器融合領域，具體地，涉及一種相機與慣性測量單元在線初始化與標定方法及系統，更為具體地，涉及基于信息量窗口的單目相機與慣性測量單元聯合在線初始化與標定的方法及系統。

背景技術

相機和慣性測量單元(Inertial?Measurement?Unit,IMU)具有互補的特性，因而被組合起來廣泛應用于導航和三維重建等領域。相機能夠獲得外界環境的豐富信息，但在快速運動、光照改變等情況下容易失效。IMU能夠高頻地獲得機器人內部的運動信息，并且不受周圍環境的影響，從而彌補視覺傳感器的不足。同時，通過視覺匹配完成的回環檢測與回環校正可以有效地修正IMU的累計漂移誤差。

初始化是基于優化的SLAM系統中必不可少的環節。初始化過程確定了待估計變量的初始值和系統運行所需的參數，包括初始幾幀的位姿、初始地圖點、尺度因子、重力向量和IMU零漂值等。由于系統的非線性，初值的確定能夠避免非線性優化陷入局部最優。現有的初始化方法通過將角速度進行積分得到各幀的姿態，隨著時間的增長累計誤差不斷增加。

相機與IMU的外參包括相機與IMU的相對旋轉角、相對平移量。確定視覺傳感器與IMU外參是對相機與IMU進行融合應用的前提。目前，視覺傳感器與IMU外參的標定主要依靠離線的人工操作，需要操作者手持標定板并進行適當的移動和旋轉操作。整個過程費時耗力，而且需要操作者具備相關的知識。目前已有一些在線標定的方法。但是，在運動情況退化情況下(機器人的加速度和旋轉量很小)，這些方法的計算量都會隨時間快速增長。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種相機與慣性測量單元在線初始化與標定方法及系統。

根據本發明提供的一種相機與慣性測量單元在線初始化與標定方法，包括：

步驟M1：純視覺初始化，利用相機的觀測量得到初始關鍵幀的位姿并構建初始地圖；

步驟M2：視覺與慣性聯合標定與初始化，基于初始關鍵幀的位姿以及初始地圖完成慣性測量單元角速度零漂值的初始化與相機和慣性測量單元相對旋轉角和平移量的標定；

步驟M3：相機與慣性測量單元融合的同步定位與建圖的過程中，對慣性測量單元角速度零漂值的初始化與相機和慣性測量單元相對旋轉角和平移量的標定進行異常檢測與更新。

優選地，所述步驟M1包括：

步驟M1.1：根據進入的新關鍵幀，尋找符合預設條件的視差角和匹配點對數的當前幀和歷史幀；

步驟M1.2：利用對極約束求取當前幀和歷史幀之間的相對位姿；

步驟M1.3：根據得到的當前幀和歷史幀之間的相對位姿，通過三角化得到當前幀和歷史幀共同觀測到的地圖點的世界坐標系坐標，構建初始地圖；

步驟M1.4：利用透視n點法將初始地圖中的點投影到各關鍵幀的像素平面上，求解各關鍵幀在世界坐標系中的位姿。

優選地，所述步驟M2包括：