[發明專利]一種基于目標三維模型的實時位姿跟蹤方法

有效

• 申請號: 201910148832.0
• 申請日: 2019-02-28
• 公開（公告）號: CN109903313B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 孫曉亮;王梓;王剛;李璋;于起峰
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/13
• 代理公司: 湖南省國防科技工業局專利中心 43102
• 代理人: 馮青

本發明涉及一種基于目標三維模型的實時位姿跟蹤方法。本發明基于目標的三維模型，利用輪廓特征，建立輪廓部件模型，依據局部輪廓辨識度將輪廓分割成若干局部輪廓段；針對每一輪廓段，在梯度域基于相位匹配準則建立二維?三維對應；利用剛體目標各部件之間的幾何關系，消除錯誤匹配對；基于建立的二維?三維匹配對，通過RPNP算法求解位姿參數，迭代整個過程直至收斂，實現序列圖像中目標位姿跟蹤。本發明算法步驟簡單明了，易于應用，且由于引入目標的三維模型，可實現全程無漂移跟蹤。

技術領域

本發明主要涉及計算機視覺、攝像測量、視覺導航等領域，特指一種基于目標三維模型的實時目標位姿跟蹤方法。

技術背景

在航天、工業機器人等領域自主操作應用中，準確、可靠及高效的目標位姿跟蹤是其中的關鍵技術之一。隨著計算機視覺、攝像測量等技術的發展，基于視覺的目標位姿跟蹤方法受到了越來越多的重視，基于視覺的位姿跟蹤方法具有精度高、成本低等優勢。

已有基于視覺的目標位姿跟蹤方法主要是建立二維-三維之間的特征匹配集合，基于建立的特征匹配集合，完成對目標位姿參數的解算，進而實現目標位姿跟蹤。點、線及輪廓等特征被應用于已有基于視覺的目標位姿跟蹤研究中。

Pauwels等人提出一種針對任意外形的剛體目標的實時位姿估計與跟蹤算法，算法基于雙目像機獲取的圖像，利用目標紋理及幾何結構信息，采用SIFT特征及光流提取立體及運動信息，并基于此構建目標函數，求解得到位姿跟蹤結果，該算法需要利用目標的紋理信息，不能很好地適應復雜光照、紋理變化等情況。Prisacariu等人將分割與位姿跟蹤同時考慮，指出二維圖像中目標區域與其位姿存在對應關系，提出基于區域的實時位姿跟蹤方法，通過引入水平集分割的思想，基于像素級后驗概率構建目標函數，在位姿參數張成的空間中采用梯度下降法求解，實現序列圖像中目標的位姿跟蹤，該算法無需事先獲取目標的紋理信息。Hexner等人針對傳統方法不能很好地處理具有復雜結構的物體或復雜背景，受局部主動輪廓研究的啟發，提出利用多個局部區域信息的位姿求解算法。Wang等人針對當前基于輪廓采樣點算法極易陷入局部極值的缺陷進行研究，提出基于全局優化的對應關系搜索方法，取得了不錯的實驗結果，但該算法計算復雜度較高。

深度學習技術也被應用于目標位姿跟蹤研究中，相關方法可歸結于以下兩個主要類別：(1)類似于傳統方法，深度學習技術用于學習特征描述，建立二維-三維對應，進而采用傳統位姿參數解算方法求取相對關系參數；(2)充分發揮深度學習技術端到端的優勢，直接基于圖像信息，輸出目標位姿參數，無需顯式地建立二維-三維對應。總結起來，需要大量的標注數據、計算效率低及位姿跟蹤精度不高等因素限制了深度學習相關目標位姿跟蹤方法的推廣應用。

發明內容

本專利針對高效的目標位姿跟蹤問題，發明了一種基于目標三維模型的實時位姿跟蹤方法：基于目標的三維模型及初始位姿估計投影得到二值圖像(目標區域為1，背景區域為0)，提取目標輪廓，利用輪廓特征，建立輪廓部件模型，依據局部輪廓辨識度將輪廓分割成若干局部輪廓段；針對每一輪廓段，在梯度域基于相位匹配準則建立二維-三維對應；利用剛體目標各部件之間的幾何關系，消除錯誤匹配對；基于建立的二維-三維匹配點對，通過RPNP(Robust Perspective-N-Point，RPNP，魯棒的N點透視)算法求解位姿參數，迭代整個過程直至收斂，實現序列圖像中目標位姿跟蹤。

1、本發明的一種實時的基于目標三維模型的目標位姿跟蹤方法的實施過程

本發明實施過程如附圖1所示，具體如下：

(1)輪廓部件模型生成：基于目標的三維模型，結合初始位姿估計，投影生成二值圖像，提取目標輪廓，基于局部輪廓特征值定義辨識度，將目標輪廓分割成若干辨識度較高的輪廓段，構成目標輪廓部件模型，并保存輪廓部件模型中心點及對應目標三維模型上的點組成的點對集合；