[發明專利]增強現實系統的跟蹤方法和終端設備

有效

• 申請號: 201610341549.6
• 申請日: 2016-05-19
• 公開（公告）號: CN107403442B
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 張小軍;劉力;宋健
• 申請（專利權）人: 視辰信息科技（上海）有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 上海大邦律師事務所 31252
• 代理人: 郜少毅

本發明實施例提供了一種增強現實系統的跟蹤方法和終端設備。上述增強現實系統的跟蹤方法包括：接收增強現實系統的輸入幀圖像；對上述輸入幀圖像進行分層降采樣；計算獲得上述分層降采樣的最高層的匹配點對結果，上述最高層是最小分辨率層；根據上述最高層的匹配點對結果對上述分層降采樣的每層進行歸一化互相關模板匹配，獲得上述每層的匹配點對結果；在上述每層的匹配點對結果中選擇合適的匹配點對結果進行姿態計算，獲得上述輸入幀圖像的姿態信息。通過上述跟蹤方法可以降低增強現實系統中歸一化互相關模版匹配的計算量，提高圖像對齊的精度，改善姿態計算的結果。

技術領域

本發明涉及增強現實技術領域，尤其涉及增強現實系統的跟蹤方法和終端設備。

背景技術

增強現實(Augmented Reality，AR)技術是一種人機交互技術。增強現實技術通過智能終端設備和可視化技術將虛擬內容應用到真實世界，使得虛擬內容和真實世界同時疊加到同一個畫面或空間呈現給用戶。

增強現實系統的跟蹤是對已經識別到的場景中的目標物體進行跟蹤，并計算出該目標物體在場景中的位置和姿態信息，從而使得后續的融合過程可以在正確的位置上、以正確的姿態進行增強現實效果的渲染。

增強現實系統的跟蹤過程包括：姿態預測、圖像對齊和最終姿態計算。具體地，首先得到前一幀的姿態信息P_i-1，對P_i-1應用運動模型M可以得到姿態預測值：根據姿態預測值確定當前幀的搜索范圍其中T為模版圖像的坐標。在搜索范圍R內，計算每一個像素p(x_p，y_p)與模版圖像中對應像素q(x_q，y_q)的匹配分數s。當s滿足特定條件時，則認為當前幀的像素p與模版圖像的像素q是匹配點對。常用的計算匹配分數的方法有歸一化互相關(Normalized Cross Correlation，NCC)模版匹配法，當計算出的NCC的匹配分數s大于一定閾值時，則認為匹配點對成立；在搜索范圍R內，得到所有滿足條件的n組匹配點對信息：MP＝{(p₀，q₀)，(p₁，q₂)，...，(p_n-1，q_n-1)}；在以上得到的匹配點對MP的基礎上進行最終姿態的計算。

因此，增強現實系統中輸入幀圖像的檢測過程的運算速度和精度，以及跟蹤過程的成功與否、跟蹤結果的精確與否，都將直接影響到整個增強現實系統的體驗好壞。

發明內容

本發明實施例提供增強現實系統的跟蹤方法和終端設備，可以提高增強現實系統跟蹤的精度和成功率，降低增強現實系統的計算壓力。

本發明的一個實施例提供了一種增強現實系統的跟蹤方法，包括：接收增強現實系統的輸入幀圖像；對所述輸入幀圖像進行光流跟蹤或歸一化互相關NCC模板跟蹤；如果所述跟蹤為光流跟蹤，當所述光流跟蹤的連續跟蹤幀數大于等于t幀時，進行NCC模板跟蹤，當所述光流跟蹤的連續跟蹤幀數小于t幀時，繼續進行所述光流跟蹤；所述t為系統預設值。

優選地，所述跟蹤方法還包括：當所述NCC模板跟蹤失敗時，獲取所述NCC模板跟蹤失敗之前、成功進行NCC模板跟蹤的n幀圖像和所述n幀圖像的姿態信息，所述n大于等于1；根據所述n幀圖像和所述n幀圖像的姿態信息進行光流跟蹤初始化；如果所述光流跟蹤初始化成功，獲得所述輸入幀圖像的初始圖像及初始跟蹤點，根據所述輸入幀圖像和所述初始圖像及初始跟蹤點進行光流迭代計算，獲得所述輸入幀圖像的跟蹤點，根據所述輸入幀圖像的跟蹤點與模板圖像上的匹配信息計算獲得所述輸入幀圖像的姿態信息；或者，如果所述光流跟蹤初始化失敗，則確定所述輸入幀圖像跟蹤失敗。