[發明專利]一種相機重定位方法和系統

有效

• 申請號: 202010439991.9
• 申請日: 2020-05-22
• 公開（公告）號: CN111709990B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 楊偉力;楊盛毅;羅達燦;劉超;陳朝猛
• 申請（專利權）人: 貴州民族大學
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06F18/25;G06V10/82;G06N3/045;G06N3/0442;G06N3/0464;G06N3/047;G06N3/048;G06N3/084;G01C21/16
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 趙秀斌

1.一種相機重定位方法，其特征在于，包括以下步驟：

S1：獲取飛行器在多個時刻的慣性參數序列和場景圖像；

S2：提取所述飛行器在t-1時刻至t時刻的所述慣性參數序列的高層次位姿特征a_I；

S3：提取所述飛行器在t時刻的所述場景圖像的高層次特征a_V；

S4：將所述高層次位姿特征a_I和所述高層次特征a_V輸入至坐標預測網絡中進行預測，所述坐標預測網絡輸出場景位姿數據；

S5：根據所述場景位姿數據建立相機姿態假設池，所述相機姿態假設池中包含多個相機姿態假設，每一個相機姿態假設對應一個可信度分數，所述可信度分數最高的相機姿態假設作為重定位數據。

2.根據權利要求1所述的方法，其特征在于，所述S1具體包括：

S101：使用IMU模塊采集飛行器在多個時刻的慣性參數序列，所述慣性參數序列包括飛行器的加速度和陀螺姿態信息，所述場景圖像為RGB圖像。

3.根據權利要求1所述的方法，其特征在于，所述S2具體包括：

S201：將所述飛行器在t-1至t時刻的所述慣性參數序列輸入至三層雙向LSTM模型，所述LSTM模型輸出所述高層次位姿特征a_I，所述高層次位姿特征a_I為：a_I＝f_inertial(x_I)，其中f_inertial()是LSTM編碼器，x_I是IMU數據序列。

4.根據權利要求1所述的方法，其特征在于，所述S3具體包括：

S301：將所述飛行器在t時刻的所述場景圖像輸入至基于DSAC++中的場景坐標預測FCN網絡，所述FCN前端編碼器提取的高層次特征a_V為：a_V＝f_camera(I)，其中，f_camera()為FCN前端編碼器，I為所述場景圖像的RGB圖像。

5.根據權利要求1所述的方法，其特征在于，所述S4具體包括：

S401：通過FCN網絡將所述高層次位姿特征a_I和所述高層次特征a_V進行融合，得到融合特征z，z＝g(a_V,a_I)，其中，進行融合的方式為直接拼接，即：g_dreat(a_V,a_I)＝[a_V,a_I]；

S402：根據所述融合特征z，所述FCN網絡輸出場景位姿數據，所述場景位姿數據對應原始圖像的各個圖像塊的三維坐標。

6.根據權利要求5所述的方法，其特征在于，所述FCN網絡的后10層卷積層替換為4層可分離卷積層。