[發明專利]運動目標的視覺跟蹤方法、裝置、電子設備及存儲介質

有效

• 申請號: 201710872887.7
• 申請日: 2017-09-25
• 公開（公告）號: CN109559330B
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 梅元剛;劉鵬;陳宇;王明琛;朱政
• 申請（專利權）人: 北京金山云網絡技術有限公司;北京金山云科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/292
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

本發明實施例提供了一種運動目標視覺跟蹤方法、裝置、電子設備及存儲介質，包括：確定第一視頻幀中待跟蹤的運動目標，確定運動目標在第一視頻幀中的位置信息，并提取運動目標在第一視頻幀中的第一特征；獲取運動目標在第二視頻幀中的加速度信息和角速度信息；計算運動目標在第二視頻幀中的位置，并提取第二視頻幀中位置處運動目標的第二特征；將第一特征和第二特征進行匹配，得到匹配特征；將匹配特征通過光流算法得到第一特征在第二視頻幀中的位置特征信息。本發明實施例可以提高跟蹤算法的實時性，提高跟蹤效率。

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種運動目標的視覺跟蹤方法、裝置、電子設備及存儲介質。

背景技術

在圖像處理技術領域中，視覺跟蹤是指對視頻序列中的運動目標進行檢測、提取特征、識別、定位和濾波，并獲得運動目標的運動參數，如位置、速度和運動軌跡等。視覺跟蹤技術是計算機視覺領域的熱門研究方向之一，在視頻監控、機器人定位、環境感知等領域有著廣泛的應用，并且通過視覺跟蹤技術可以對研究目標進一步的進行行為理解、分析和決策等高級任務提供必要的技術手段。

視覺跟蹤技術得到了廣泛的關注與研究，發展比較迅速，出現了很多成熟的算法，這些算法大體可以分為三類：基于局部信息的跟蹤算法、基于檢測的跟蹤算法、基于特征點的跟蹤算法。其中，基于局部信息的跟蹤算法，將目標的初始區域作為目標模板，將目標模板與圖像中的所有區域進行模板匹配，將匹配度最高的地方作為目標的位置。常用的方法有Lucas-Kanade光流跟蹤算法等。基于局部信息的跟蹤算法采用目標的全局信息，就有較高的可信度，但當目標的遮擋或者形變較大時，很容易使得跟蹤失敗。基于檢測的跟蹤算法將跟蹤問題簡化為背景和目標的二分類問題。通過在線學習方式進行模型更新，能夠適應目標較大的變化，如經典的跟蹤學習(Tracking-Learning-Detection，簡稱TLD)算法。基于特征點的跟蹤算法主要是將目標表示為一系列的顯著特征，并通過特征匹配來獲得視頻幀之間目標特征的對應關系，以實現目標跟蹤。基于特征點的跟蹤算法只考慮目標的顯著特征，因此能夠在存在部分遮擋和變形的條件下，實現跟蹤。基于一致性匹配和跟蹤特征點的目標跟蹤(Clustering of Static-Adaptive Correspondences for Deformable ObjectTracking，簡稱CMT)算法是一種基于特征點的跟蹤算法，可以跟蹤任何具有顯著特征的物體。CMT算法將通過計算前后圖像幀之間的前向和后向光流來得到特征和通過匹配特征算子得到的特征，采用聚類的方法進行篩選，以獲得一致的魯棒的特征。此外CMT算法以框的中心來計算特征點的相對位置，對于不形變的目標，其特征相對于中心的距離在縮放比例下是不變的，所以算法能夠跟蹤旋轉的目標。

現有技術中的這三種算法各有優勢，但同時又各有不足。基于局部信息的跟蹤算法對在目標存在變形或者遮擋的時候，比較容易跟蹤失敗，且一般需要滑窗匹配，計算量較大；基于檢測的跟蹤算法，通過進行模型更新，可以跟蹤具有逐步變化的目標，但基于檢測的跟蹤算法一般只能給出目標的位置信息，而無法得到目標的姿態信息(旋轉角度等)；基于特征點的跟蹤算法可以得到對應的匹配特征點，并通過最小二乘法估計出目標的位置和姿態等信息，且能適應一定的遮擋和變形，但CMT算法雖然跟蹤性能好，算法效率高，但對要求計算效率和耗電量的移動端設備而言，不能完全的滿足跟蹤要求，而且CMT算法對特征點準確性要求較高，在實際應用中提取的特征點通常存在小范圍的誤差，難以滿足需要比較穩定的目標跟蹤應用，如增強技術(Augmented Reality，簡稱AR)貼圖等。

發明內容

本發明實施例的目的在于提供一種運動目標的視覺跟蹤方法、裝置、電子設備及存儲介質，以提高跟蹤算法的實時性和穩定性。具體技術方案如下：

本發明實施例提供了一種運動目標視覺跟蹤方法，所述方法包括：

確定第一視頻幀中待跟蹤的運動目標，確定所述運動目標在所述第一視頻幀中的位置信息，并提取所述運動目標在所述第一視頻幀中的第一特征；