[發明專利]一種特征點跟蹤方法、設備、介質及無人設備

在審

• 申請號: 202010611029.9
• 申請日: 2020-06-29
• 公開（公告）號: CN111798489A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 智向陽
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/292;G06T7/73;G06T7/80
• 代理公司: 北京曼威知識產權代理有限公司 11709
• 代理人: 方志煒

1.一種特征點跟蹤方法，其特征在于，無人設備上安裝有慣性測量單元和至少兩個相機，所述方法包括：

獲取所述至少兩個相機中的第一相機在當前時刻采集的第一圖像數據；

檢測所述第一圖像數據中包含的特征點，從檢測到的所述特征點中選取第一特征點；

獲取所述慣性測量單元在所述當前時刻測量的所述無人設備的第一位姿信息；

基于所述第一位姿信息，確定所述第一特征點在所述至少兩個相機中的第二相機的圖像平面上的第一位置；

根據所述第一位置，在所述第二相機于所述當前時刻采集的第二圖像數據中進行特征點跟蹤。

2.如權利要求1所述的特征點跟蹤方法，其特征在于，檢測所述第一圖像數據中包含的特征點，從檢測到的所述特征點中選取第一特征點，包括：

對所述第一圖像數據中包含的特征點進行檢測；

針對檢測到的所述第一圖像數據中包含的各特征點，分別確定各所述征點對應的世界坐標系下的3D位置；

從確定有所述3D位置的特征點中選取一個特征點，作為第一特征點。

3.如權利要求2所述的特征點跟蹤方法，其特征在于，基于所述第一位姿信息，確定所述第一特征點在所述至少兩個相機中的第二相機的圖像平面上的第一位置，包括：

確定所述慣性測量單元與所述至少兩個相機中的第二相機之間的外部參數，所述外部參數包含所述慣性測量單元對應的世界坐標系與所述第二相機對應的相機坐標系之間的旋轉參數和平移參數；

根據所述第一位姿信息和所述外部參數，確定所述第二相機在所述當前時刻的第二位姿信息；

根據所述第二位姿信息和所述第一特征點的3D位置，確定所述第一特征點在所述第二相機對應的相機坐標系下的坐標；

基于所述坐標和所述第二相機的內部參數，得到所述第一特征點投影在所述第二相機的圖像平面上的第一位置。

4.如權利要求3所述的特征點跟蹤方法，其特征在于，根據所述第一位姿信息和所述外部參數，確定所述第二相機在所述當前時刻的第二位姿信息，包括：

根據所述慣性測量單元對應的世界坐標系與所述第二相機對應的相機坐標系之間的旋轉參數和平移參數，將所述慣性測量單元測量得到的第一位姿信息轉換到所述第二相機對應的相機坐標系下，得到所述第二相機在所述當前時刻的第二位姿信息。

5.如權利要求3所述的特征點跟蹤方法，其特征在于，基于所述坐標和所述第二相機的內部參數，得到所述第一特征點投影在所述第二相機的圖像平面上的第一位置，包括：

根據所述第二相機對應的相機坐標系與圖像坐標系之間的投影關系，將所述坐標投影到所述第二相機的圖像平面上，得到所述第一特征點投影在所述第二相機的圖像平面上的第一位置。

6.如權利要求1所述的特征點跟蹤方法，其特征在于，根據所述第一位置，在所述第二相機于所述當前時刻采集的第二圖像數據中進行特征點跟蹤，包括：

根據所述第一位置，確定所述第一位置在所述第二相機于所述當前時刻采集的第二圖像數據中對應的像素值；

根據所述像素值和所述第一特征點對應的像素值，判斷所述第一位置對應的特征點與所述第一特征點是否為同一個特征點；

在確定所述第一位置對應的特征點與所述第一特征點不為同一個特征點的情況下，以所述第一位置為原點，在所述第二圖像數據中進行特征點跟蹤，其中，跟蹤到的特征點的像素值與所述第一特征點的像素值之間滿足設定條件。

7.如權利要求6所述的特征點跟蹤方法，其特征在于，所述方法還包括：

基于所述第一位置和跟蹤到的特征點在所述第二圖像數據中的位置，確定所述第二相機在所述當前時刻的第三位姿信息；

根據確定的所述第三位姿信息，對所述慣性測量單元在所述當前時刻測量的第一位姿信息進行更新，并存儲更新后的所述慣性測量單元在所述當前時刻測量的第一位姿信息。