[發明專利]一種基于三維點云對齊的主動相機重定位方法

有效

• 申請號: 202011089548.X
• 申請日: 2020-10-13
• 公開（公告）號: CN112365537B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 馮偉;張乾;萬亮;王英銘
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 韓帥

本發明公開了一種基于三維點云對齊的主動相機重定位方法，所述方法通過三個并行線程合作完成，在初始化階段，利用已有視覺SLAM方法實現場景三維重建，并獲取平臺與相機之間的相對位姿關系，以及三維重建的真實尺度；在此之后，構建三個并行線程，1)視覺三維重建算法(VSE)線程：獲取當前場景的三維點云和當前相機的位姿；2)點云對齊線程：完成參考點云和當前點云的對齊，實時獲取兩點云之間的尺度變換和坐標變換；3)相機調整線程：計算平臺調整量并執行；本發明有效減少了現有重定位方法對歷次觀測場景光照一致性的依賴(尤其是室外環境)，同時有效減少了重定位時間，因此本方法能夠成功地應用于真實場景中的微小變化檢測任務。

技術領域

本發明屬于人工智能、計算機視覺領域，涉及主動視覺技術，具體為一種基于三維點云對齊的主動相機重定位方法。

背景技術

主動式相機重定位，旨在物理真實地將相機六自由度位姿恢復到與拍攝參考圖像時一致，在環境監測，歷史文化遺產預防性保護，微小變化檢測等領域發揮著重要作用，是主動視覺技術的一個重要應用。主動式相機重定位過程包括相機的相對位姿估計和相機的動態調整，相機的調整由機器人平臺完成。

目前最先進的主動式相機重定位算法在文化遺產微小變化檢測任務中取得了巨大成功。但需要注意的是，這些監測任務是在穩定和可控的環境條件下進行的，在這種條件下，所采用圖像的特征匹配結果能夠支持準確的相機位姿估計。

然而，當歷次觀測的光照條件(方向和強度)不同時，監測結果差強人意。光照的顯著差異會改變場景(尤其是普遍存在的三維結構場景)的表觀，進而使涉及到姿態估計的圖像中的特征點描述子會發生變化，導致相機位姿估計失敗。此外，如果觀測場景中的背景(非監測對象區域)變化較大，例如，被監測古建筑附近的植被在不同季節可能發生劇烈變化(甚至結構變化)，將顯著增加圖像中誤匹配特征點的數量，嚴重影響重定位結果的準確性。實際任務中常見的上述兩種情況，會嚴重損害主動相機重定位的精度，導致實際監測結果不可靠，從而無法支持戶外不可控環境條件下的相機重定位作業。

發明內容

本發提供了一種基于三維點云對齊的主動相機重定位方法，利用場景的三維點云對齊來指導相機的移動，有效減少了現有重定位方法對歷次觀測場景光照一致性的依賴，本方法還通過參考場景和當前場景之間的尺度關系，避免了以往主動相機重定位的二分趨近的移動相機的方法，從而大幅加快了重定位的速度，能夠支持可靠高效的戶外任務作業。

本發明是通過以下技術方案實現的：

步驟一，初始化：獲取平臺與相機之間的相對位姿關系，以及SLAM三維重建的真實尺度。

步驟二，開啟VSE線程，實時獲取當前場景的具有真實尺度的三維點云和當前相機的位姿。

步驟三，開啟點云對齊線程，進行參考點云和當前點云的對齊，實時獲取兩點云之間的尺度變換和位姿關系。

步驟四，開啟相機調整線程，在VSE線程和點云對齊線程輔助下計算移動平臺調整量并執行。判斷重定位是否結束，若重定位完成則終止，否則重復步驟四。

進一步，初始化階段獲取平臺與相機之間的相對位姿關系，以及SLAM三維重建的真實尺度的具體方法為：

(1)移動承載相機的平臺，得到平臺的旋轉矩陣R_B和平移向量t_B；其中：下標A代表相機，B代表平臺；

(2)由視覺三維重建算法獲取相機的旋轉矩陣R_A以及沒有真實尺度信息的平移向量t_VSE；

(3)根據經典的“手-眼”標定算法，計算相機與平臺之間的旋轉矩陣R_X。