[發明專利]一種視覺目標跟蹤方法及裝置

有效

• 申請號: 202011379922.X
• 申請日: 2020-11-30
• 公開（公告）號: CN112489081B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 魏振忠;談可;許庭兵
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V10/25;G06V10/82;G06N3/04
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 牟昌兵

本申請涉及一種視覺目標跟蹤方法及裝置，其中該方法包括：剪裁第一幀得到參考圖像；使用網絡模型，確定參考圖像的特征圖，該網絡模型包括：特征提取子網絡、匹配激活子網絡，以及互補區域候選子網絡，其中，互補區域候選子網絡的一個分類分支以參考圖像的特征圖和經過匹配激活圖擦除后的搜索圖像的特征圖作為輸入，另一個分類分支以參考圖像的特征圖和搜索圖像的特征圖作為輸入；對于第一幀之后的每幀，以上一幀的目標區域為中心，剪裁得到當前幀的搜索圖像；使用網絡模型，確定當前幀中目標對應每個錨框的得分和相應的回歸框；使用時空約束，確定最終的跟蹤框。由此，增強匹配過程中的非語義特征，實現了對任意目標的實時、準確跟蹤。

技術領域

本申請涉及計算機領域，尤其涉及一種視覺目標跟蹤方法及裝置。

背景技術

視覺跟蹤是計算機視覺的重要研究內容，其目的是給定視頻中的任意跟蹤目標，在視頻的后續圖像中的標記出目標的區域，從而開展進一步的分析。近十年來，視覺跟蹤方法得到了廣泛的研究，并應用于視覺導航、人機交互、安防監控等領域。然而，由于在現實場景中存在目標形變、環境光照變化、外部遮擋、相似物干擾等挑戰，使得設計一個實時、準確、魯棒的視覺跟蹤方法仍然是一個開放性的問題。

近年來，基于深度卷積神經網絡(CNN)的深度學習技術極大的提高了目標檢測、分割等領域的性能，同樣在視覺跟蹤領域表現出巨大的潛力，成為當下的研究熱點。相關技術中，基于深度卷積神經網絡的跟蹤方法大致可以分為兩類：基于在線分類器學習的方法和基于相似性度量學習的方法。基于在線分類器學習的方法中，一些跟蹤模型把CNN當作特征提取器，并結合相關濾波、支持向量機等傳統分類技術；還有一些跟蹤模型，在預訓練CNN模型的基礎上，使用優化方法微調最后幾層。這些跟蹤方法盡管能夠取得很好的準確度，但是速度往往只有幾赫茲，無法滿足實時應用的場景。而基于相似性度量學習的方法則通過構建相似性度量網絡模型，通過大數據進行離線訓練，學習到通用的相似性匹配函數，這類方法在模型應用階段可以不進行模型更新，因而大大提高了跟蹤速度，同時能夠保證不錯的準確性，滿足工程落地的實時性需求。

文章“Fully Convolutional Siamese Networks for Object Tracking.inEuropean Conference on Computer Vision.2016.”(全卷積孿生網絡視覺跟蹤方法)提出了一種孿生網絡結構，輸入一對包含跟蹤目標的參考圖像和搜索圖像，經過同一個特征提取網絡后利用相關層輸出目標的位置。但是需要提取長寬比固定的多尺度圖像以確定目標的尺寸，導致模型跟蹤的速度和精度不太理想。

文章“High Performance Visual Tracking With Siamese Region ProposalNetwork.in Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018.”(基于孿生區域候選網絡的高性能視覺跟蹤方法)結合孿生網絡和區域候選網絡，解決了孿生網絡需要多尺度搜索的問題，提高了跟蹤的準確性和速度，然而該方法使用性能較低的AlexNet作為特征提取網絡，使得跟蹤準確性不足。

文章“SiamRPN++:Evolution of Siamese Visual Tracking With Very DeepNetworks.In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2019.”(SiamRPN++：基于深層網絡的孿生網絡跟蹤方法)利用隨機偏移訓練，解決ResNet、MobileNet等更深網絡無法應用于孿生網絡跟蹤的問題，大大提高了模型的性能，但跟蹤的速度有所降低。

以上基于孿生網絡的相似性度量跟蹤模型，盡管取得了不錯的性能，然而在利用相關層進行匹配時，目標中語義特征對結果的影響往往大于非語義特征，這使得模型傾向于語義目標的檢測，導致模型的判別能力降低。

發明內容