[發明專利]一種相機重定位方法和系統

有效

• 申請號: 202010439991.9
• 申請日: 2020-05-22
• 公開（公告）號: CN111709990B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 楊偉力;楊盛毅;羅達燦;劉超;陳朝猛
• 申請（專利權）人: 貴州民族大學
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06F18/25;G06V10/82;G06N3/045;G06N3/0442;G06N3/0464;G06N3/047;G06N3/048;G06N3/084;G01C21/16
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 趙秀斌

本發明提供一種相機重定位方法及系統，其中方法包括：S1:獲取飛行器在多個時刻的慣性參數序列和場景圖像；S2:提取所述飛行器在t?1時刻至t時刻的所述慣性參數序列的高層次位姿特征asubgt;I/subgt;；S3:提取所述飛行器在t時刻的所述場景圖像的高層次特征asubgt;V/subgt;；S4:將所述高層次位姿特征asubgt;I/subgt;和所述高層次特征asubgt;V/subgt;輸入至坐標預測網絡中進行預測，所述坐標預測網絡輸出場景位姿數據；S5:根據所述場景位姿數據建立相機姿態假設池，所述相機姿態假設池中包含多個相機姿態假設，每一個相機姿態假設對應一個可信度分數，所述可信度分數最高的相機姿態假設作為重定位數據，能快速、精確的對相機進行重定位。

技術領域

本發明涉及相機重定位技術領域，具體涉及一種相機重定位方法和系統。

背景技術

相機重定位是在三維環境中利用二維圖像快速、準確地估計六自由度相機位姿，該任務往往作為同步定位與地圖重建，增強現實，自主導航等任務的子模塊。在傳統相機重定位中，三維場景通過SfM(Structure?from?Motion)、視覺里程計或者地圖重建算法獲得，查詢幀圖像需與整個三維場景模型進行匹配，建立2D-3D候選匹配關系，這些候選2D-3D匹配列表在RANSAC(Random?Sample?Consensus)循環中利用PnP(Perspective-n-point)算法進行幾何驗證剔除異常點，對通過幾何驗證的2D-3D匹配再利用PnP估計相機位姿。但在大場景中，計算量則會指數級增長，導致無法滿足實時應用，特別對于敏捷型飛行器或無人機需要快速實現定位，提升機動性。

現有高精度相機重定位方法主要基于DSAC++，其設計了可微RANSAC策略(Differentiable?SAmple?Consensus)，實現端到端訓練相機位姿估計網絡。但如果網絡初始化存在偏差則導致參數搜索空間范圍擴大，不僅需要較大網絡模型回歸位姿，導致其前向推理速度較慢，而且往往只獲得局部最優解，無法獲得高精度的相機姿態。

發明內容

本發明的目的在于克服現有技術中的缺點，提供一種相機重定位方法及系統，在DSAC++基礎之上，將慣性序列參數和圖像數據結合，使得精度高，再結合深度神經網絡使得重定位速度快，精度進一步提高。

本發明的目的是通過以下技術方案來實現的：一種相機重定位方法，包括以下步驟：

S1：獲取飛行器在多個時刻的慣性參數序列和場景圖像；

S2：提取所述飛行器在t-1時刻至t時刻的所述慣性參數序列的高層次位姿特征a_I；

S3：提取所述飛行器在t時刻的所述場景圖像的高層次特征a_V；

S4：將所述高層次位姿特征a_I和所述高層次特征a_V輸入至坐標預測網絡中進行預測，所述坐標預測網絡輸出場景位姿數據；

S5：根據所述場景位姿數據建立相機姿態假設池，所述相機姿態假設池中包含多個相機姿態假設，每一個相機姿態假設對應一個可信度分數，所述可信度分數最高的相機姿態假設作為重定位數據。

本發明的有益效果是，由于每一幀場景圖像都有時間對齊的慣性參數序列進行輔助，因此即使存在多個相同結構和特征的區域，也能給正確的估計姿態，使得重定位的精度高，由于提取了高層次位姿特征a_I，從而快速縮小坐標預測網絡參數搜索范圍，只需輕量型網絡就能精確估計姿態，加快定位速度，每一個相機姿態假設對應一個可信度分數，所述可信度分數最高的相機姿態假設作為重定位數據，使得本方法能快速、精確的對相機進行重定位。

進一步，所述S1具體包括：

S101：使用IMU模塊采集飛行器在多個時刻的慣性參數序列，所述慣性參數序列包括飛行器的加速度和陀螺姿態信息，所述場景圖像為RGB圖像。