[發明專利]使用在線時間標定的視覺慣性測程法與設備

有效

• 申請號: 201810239278.2
• 申請日: 2018-03-22
• 公開（公告）號: CN108629793B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 高偉;劉津旭;胡占義
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T7/277
• 分類號: G06T7/277;G06T7/70;G06T7/80
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩

本發明涉及多傳感器時間標定算法領域，具體涉及一種使用在線時間標定的視覺慣性測程法與設備，目的在于提高相機位姿計算的精度。本發明的視覺慣性測程法包括：將相機圖片的時間戳與IMU的時間系統粗略對齊，并把相機和IMU的數據作為輸入；把由相機數據和IMU數據分別計算出的相機姿態最接近的時間延遲作為相機時間延遲的初步估計值；采用帶有時間延遲參數的IMU誤差項表示方法，在IMU的預積分結果中添加與時間延遲有關的修正項，將其作為非線性優化的參數，實現時間延遲的精確標定。本方法對時間延遲的標定比現有的方法更準確，對于未經硬件同步的設備，在設備快速轉彎和突然停止的時候有更好的性能。

技術領域

本發明涉及多傳感器時間標定算法領域，具體涉及一種使用在線時間標定的視覺慣性測程法與設備。

背景技術

使用相機和IMU(慣性測量單元)的視覺慣性測程法近年來取得了很好的效果，因為視覺和IMU的信息有互補的特點。早期有MSCKF算法使用擴展卡爾曼濾波(EKF)實現相機跟蹤，隨后出現了使用非線性優化的OKVIS和VINS，以及ORB-SLAM算法的使用視覺和IMU信息的版本。這些算法被廣泛地用于微型飛行器定位和增強現實。這些算法都假設相機和IMU的時間戳是同步的，但是在安卓手機上相機和IMU并沒有做到硬件同步，相機的時間戳相對于它的曝光時間有時間延遲。因為這個時間延遲在每次程序運行的時候都不一樣，所以無法使用離線的時間標定算法如Kalibr工具包進行時間標定。

現有的相機和IMU之間的可以實現時間標定的方法主要有以下四種：

(1)首先使用相機和IMU的數據分別計算相機和IMU的姿態，然后通過計算相關系數或相位一致性，或使用ICP算法對齊；

(2)使用非線性優化的離線標定；

(3)使用EKF算法的在線標定；

(4)使用非線性優化的在線標定。

其中，第(1)種方法因為分成兩步計算，所以在對齊的時候無法利用相機和IMU姿態的精度信息，因此，一個被錯誤估計的姿態會對時間標定結果產生較大影響；第(2)種方法無法實現在線計算；第(3)種方法是基于EKF算法的，無法用于OKVIS、VINS、ORB-SLAM等使用非線性優化的VIO(Visual–Inertial Odometry，視覺慣性里程計)算法。

VINS最新更新的開源代碼是在此之前唯一公開的使用非線性優化的在線時間標定方法。這種方法用連續兩幀圖像上特征點坐標的差除以兩幀之間的時間間隔計算出特征點在圖像上移動的速度，再用它乘以時間延遲作為特征點坐標的改正量加到特征點坐標的觀測值上。使用這種方法，時間延遲就成了非線性優化的參數之一。然而，圖像采集的頻率顯著低于IMU的量測值的頻率，因此，使用上述方法計算出的特征點在圖像上移動的速度也有較大的誤差。

發明內容

為了解決現有技術中的上述問題，本發明提出了一種使用在線時間標定的視覺慣性測程法與設備，提高了相機位姿計算的精度。

本發明的一方面，提出一種使用在線時間標定的視覺慣性測程法，包括以下步驟：

步驟S1000，實時獲取相機圖像和IMU量測值，并根據IMU時間基準，調整圖像的曝光時刻時間戳；將調整時間戳后的所述相機圖像和IMU量測值加入滑動窗口；

步驟S3000，當新的圖像進入滑動窗口時，根據所述新的圖像和上一幀圖像的曝光時刻時間戳以及上一幀圖像對應的時間延遲，調整對IMU量測值進行預積分的時間區間，進而對IMU量測值進行預積分；計算包含重投影誤差項、IMU誤差項和邊緣化誤差項的代價函數，將所述時間延遲與相機位置、速度和姿態一起進行迭代優化，從而得到所述新的圖像對應的所述時間延遲，以及相機位置、速度和姿態；

其中，

所述IMU誤差項的殘差向量中包含與所述時間延遲有關的變量。