[發(fā)明專利]一種特征點跟蹤方法、設(shè)備、介質(zhì)及無人設(shè)備

在審

• 申請?zhí)枺?/td>: 202010611029.9
• 申請日: 2020-06-29
• 公開（公告）號: CN111798489A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計）人: 智向陽
• 申請（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/292;G06T7/73;G06T7/80
• 代理公司: 北京曼威知識產(chǎn)權(quán)代理有限公司 11709
• 代理人: 方志煒

1.一種特征點跟蹤方法，其特征在于，無人設(shè)備上安裝有慣性測量單元和至少兩個相機，所述方法包括：

獲取所述至少兩個相機中的第一相機在當(dāng)前時刻采集的第一圖像數(shù)據(jù)；

檢測所述第一圖像數(shù)據(jù)中包含的特征點，從檢測到的所述特征點中選取第一特征點；

獲取所述慣性測量單元在所述當(dāng)前時刻測量的所述無人設(shè)備的第一位姿信息；

基于所述第一位姿信息，確定所述第一特征點在所述至少兩個相機中的第二相機的圖像平面上的第一位置；

根據(jù)所述第一位置，在所述第二相機于所述當(dāng)前時刻采集的第二圖像數(shù)據(jù)中進行特征點跟蹤。

2.如權(quán)利要求1所述的特征點跟蹤方法，其特征在于，檢測所述第一圖像數(shù)據(jù)中包含的特征點，從檢測到的所述特征點中選取第一特征點，包括：

對所述第一圖像數(shù)據(jù)中包含的特征點進行檢測；

針對檢測到的所述第一圖像數(shù)據(jù)中包含的各特征點，分別確定各所述征點對應(yīng)的世界坐標(biāo)系下的3D位置；

從確定有所述3D位置的特征點中選取一個特征點，作為第一特征點。

3.如權(quán)利要求2所述的特征點跟蹤方法，其特征在于，基于所述第一位姿信息，確定所述第一特征點在所述至少兩個相機中的第二相機的圖像平面上的第一位置，包括：

確定所述慣性測量單元與所述至少兩個相機中的第二相機之間的外部參數(shù)，所述外部參數(shù)包含所述慣性測量單元對應(yīng)的世界坐標(biāo)系與所述第二相機對應(yīng)的相機坐標(biāo)系之間的旋轉(zhuǎn)參數(shù)和平移參數(shù)；

根據(jù)所述第一位姿信息和所述外部參數(shù)，確定所述第二相機在所述當(dāng)前時刻的第二位姿信息；

根據(jù)所述第二位姿信息和所述第一特征點的3D位置，確定所述第一特征點在所述第二相機對應(yīng)的相機坐標(biāo)系下的坐標(biāo)；

基于所述坐標(biāo)和所述第二相機的內(nèi)部參數(shù)，得到所述第一特征點投影在所述第二相機的圖像平面上的第一位置。

4.如權(quán)利要求3所述的特征點跟蹤方法，其特征在于，根據(jù)所述第一位姿信息和所述外部參數(shù)，確定所述第二相機在所述當(dāng)前時刻的第二位姿信息，包括：

根據(jù)所述慣性測量單元對應(yīng)的世界坐標(biāo)系與所述第二相機對應(yīng)的相機坐標(biāo)系之間的旋轉(zhuǎn)參數(shù)和平移參數(shù)，將所述慣性測量單元測量得到的第一位姿信息轉(zhuǎn)換到所述第二相機對應(yīng)的相機坐標(biāo)系下，得到所述第二相機在所述當(dāng)前時刻的第二位姿信息。

5.如權(quán)利要求3所述的特征點跟蹤方法，其特征在于，基于所述坐標(biāo)和所述第二相機的內(nèi)部參數(shù)，得到所述第一特征點投影在所述第二相機的圖像平面上的第一位置，包括：

根據(jù)所述第二相機對應(yīng)的相機坐標(biāo)系與圖像坐標(biāo)系之間的投影關(guān)系，將所述坐標(biāo)投影到所述第二相機的圖像平面上，得到所述第一特征點投影在所述第二相機的圖像平面上的第一位置。

6.如權(quán)利要求1所述的特征點跟蹤方法，其特征在于，根據(jù)所述第一位置，在所述第二相機于所述當(dāng)前時刻采集的第二圖像數(shù)據(jù)中進行特征點跟蹤，包括：

根據(jù)所述第一位置，確定所述第一位置在所述第二相機于所述當(dāng)前時刻采集的第二圖像數(shù)據(jù)中對應(yīng)的像素值；

根據(jù)所述像素值和所述第一特征點對應(yīng)的像素值，判斷所述第一位置對應(yīng)的特征點與所述第一特征點是否為同一個特征點；

在確定所述第一位置對應(yīng)的特征點與所述第一特征點不為同一個特征點的情況下，以所述第一位置為原點，在所述第二圖像數(shù)據(jù)中進行特征點跟蹤，其中，跟蹤到的特征點的像素值與所述第一特征點的像素值之間滿足設(shè)定條件。

7.如權(quán)利要求6所述的特征點跟蹤方法，其特征在于，所述方法還包括：

基于所述第一位置和跟蹤到的特征點在所述第二圖像數(shù)據(jù)中的位置，確定所述第二相機在所述當(dāng)前時刻的第三位姿信息；

根據(jù)確定的所述第三位姿信息，對所述慣性測量單元在所述當(dāng)前時刻測量的第一位姿信息進行更新，并存儲更新后的所述慣性測量單元在所述當(dāng)前時刻測量的第一位姿信息。