[發(fā)明專利]一種特征點跟蹤方法、設備、介質及無人設備

在審

• 申請?zhí)枺?/td>: 202010611029.9
• 申請日: 2020-06-29
• 公開（公告）號: CN111798489A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設計）人: 智向陽
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/292;G06T7/73;G06T7/80
• 代理公司: 北京曼威知識產權代理有限公司 11709
• 代理人: 方志煒

本說明書公開了一種特征點跟蹤方法、設備、介質及無人設備，包括：獲取至少兩個相機中的第一相機在當前時刻采集的第一圖像數(shù)據(jù)；檢測第一圖像數(shù)據(jù)中包含的特征點，從檢測到的特征點中選取第一特征點；獲取慣性測量單元在當前時刻測量的無人設備的第一位姿信息；基于第一位姿信息，確定特征點在至少兩個相機中的第二相機的圖像平面上的第一位置；以第一位置為初始位置，在第二相機于當前時刻采集的第二圖像數(shù)據(jù)中進行特征點跟蹤。這樣不僅增加了特征點的跟蹤時間和跟蹤次數(shù)，還有效地將不同的相機關聯(lián)起來，進而提升視覺慣性里程計的定位精度。

技術領域

本說明書涉及無人駕駛技術領域，尤其涉及一種特征點跟蹤方法、設備、介質及無人設備。

背景技術

里程計(Odometry)是通過運動傳感器采集的數(shù)據(jù)來估計移動智能設備(例如：機器人、無人車以及具備配送能力的無人駕駛車輛(以下簡稱車輛))位姿變換的方式。雖然里程計測量的是移動智能設備短時間內的位姿變換，但是通過累積的方式可以得到移動智能設備連續(xù)的位姿信息。正是因為能夠得到連續(xù)的位姿信息，里程計成為機器人、無人駕駛領域非常重要的定位方法之一。

相機作為一種運動傳感器，通過拍攝的序列圖片來估計位姿，這種方法被稱之為視覺里程計；慣性測量單元(Inertial Measurement Unit；IMU)作為另一種運動傳感器，通過將陀螺儀、加速度計和磁力計這三種傳感器的數(shù)據(jù)進行融合來估計位姿，這種方法稱之為慣性里程計。

在實際應用中，視覺里程計和慣性里程計的方法差異較大，各具優(yōu)勢經(jīng)常被融合使用，即視覺慣性里程計。視覺慣性里程計常見的應用是相機+IMU組合。經(jīng)研究發(fā)現(xiàn)，由于視覺慣性里程計依然采用累積的方式來確定位姿信息，不可避免的在計算過程中會存在累積誤差，這將增大視覺慣性里程計的定位誤差。

發(fā)明內容

本說明書提供一種特征點跟蹤方法、設備、介質及無人設備，以部分解決上述現(xiàn)有技術存在的問題。

本說明書采用下述技術方案：

本說明書提供的一種特征點跟蹤方法，無人設備上安裝有慣性測量單元和至少兩個相機，所述方法包括：

獲取所述至少兩個相機中的第一相機在當前時刻采集的第一圖像數(shù)據(jù)；

檢測所述第一圖像數(shù)據(jù)中包含的特征點，從檢測到的所述特征點中選取第一特征點；

獲取所述慣性測量單元在所述當前時刻測量的所述無人設備的第一位姿信息；

基于所述第一位姿信息，確定所述第一特征點在所述至少兩個相機中的第二相機的圖像平面上的第一位置；

根據(jù)所述第一位置，在所述第二相機于所述當前時刻采集的第二圖像數(shù)據(jù)中進行特征點跟蹤。

可選的，檢測所述第一圖像數(shù)據(jù)中包含的特征點，從檢測到的所述特征點中選取第一特征點，具體包括：

對所述第一圖像數(shù)據(jù)中包含的特征點進行檢測；

針對檢測到的所述第一圖像數(shù)據(jù)中包含的各特征點，分別確定各所述征點對應的世界坐標系下的3D位置；

從確定有所述3D位置的特征點中選取一個特征點，作為第一特征點。

可選的，基于所述第一位姿信息，確定所述第一特征點在所述至少兩個相機中的第二相機的圖像平面上的第一位置，具體包括：

確定所述慣性測量單元與所述至少兩個相機中的第二相機之間的外部參數(shù)，所述外部參數(shù)包含所述慣性測量單元對應的世界坐標系與所述第二相機對應的相機坐標系之間的旋轉參數(shù)和平移參數(shù)；

根據(jù)所述第一位姿信息和所述外部參數(shù)，確定所述第二相機在所述當前時刻的第二位姿信息；